David Filliat ENSTA ParisTech david.fi[email protected] DES STIC ET DES HOMMES COORDINATEUR : ENSTA ParisTech PARTENAIRES : ISIR – GOSTAI SAS OBJECTIFS DU PROJET La façon dont nous percevons le monde nous apparaît naturelle et sans efforts, mais repose sur de nombreux processus sensoriels. Par exemple, nous mémorisons rapidement les objets pertinents en fonction du contexte et les configurations des pièces et les couloirs. Le but de PACOM est d'implémenter certaines de ces capacités dans un robot et d’introduire dans les cartes de l'information sémantique pertinente pour l'humain. Ce robot a été développé pour participer au défi Carotte organisé par l’ANR et la DGA. MÉTHODOLOGIE ET RESULTATS Notre robot est équipé d'un télémètre laser à balayage, de sonars, d'une caméra couleur orientable et d'une caméra mesurant la profondeur et la couleur (Kinect). Le système logiciel est fondé sur le framework Urbi de Gostai qui permet de répartir, de paralléliser et de coordonner les différents modules logiciels nécessaires sur les deux ordinateurs embarqués. Notre système repose sur une cartographie 2D par télémétrie laser. Sur cette base, nous avons particulièrement cherché à être robuste aux vitres, miroirs, objets 3D et irrégularités du sol présents dans l'environnement. Pour cela, les capteurs complémentaires du laser sont utilisés pour détecter les obstacles non vus par le laser (graviers, vitres, tables), qui sont ensuite intégrés dans la carte et pris en compte par la planification de trajectoire. Nous avons également développé une approche de segmentation des objets au moyen de l'information 3D qui permet ensuite leur identification en fusionnant l'information de structure 3D, de couleur et de texture. Ces données permettent de construire une carte sémantique intégrant les informations telles que la structure 3D de l'environnement, les pièces présentes, les objets détectés, les types de sols et de murs détectés au moyen de la caméra couleur orientable. Le déplacement du robot est planifié par une stratégie d'exploration multi-objectif permettant de découvrir l'ensemble de l'environnement tout en réalisant une recherche exhaustive d'objets. CONCLUSION ET PRESPECTIVES Au cours de ce projet, nous avons développé plusieurs techniques nouvelles et efficaces pour l’exploration, la reconnaissance d’objets par caméra RGBD, la cartographie sémantique et l’estimation de la saillance visuelle. Ces techniques ouvrent des perspectives d’application intéressantes pour l’autonomie des robots, en particulier dans le cadre de la robotique personnelle et d’assistance. PACOM – Panoramic and Active Camera for Object Mapping CAROTTE 2009

DES STIC ET DES HOMMES - ANR · nombreux processus sensoriels. Par exemple, nous mémorisons rapidement les objets pertinents en fonction du contexte et les conﬁgurations des pièces

Download PDF Report

Upload
others
View
2
Download
0

Embed Size (px)

Citation preview

Page 1: DES STIC ET DES HOMMES - ANR · nombreux processus sensoriels. Par exemple, nous mémorisons rapidement les objets pertinents en fonction du contexte et les conﬁgurations des pièces

David&Filliat&

ENSTA&ParisTech&

[email protected]&

DES STIC ET DES HOMMES�

COORDINATEUR : ENSTA ParisTech PARTENAIRES : ISIR – GOSTAI SAS �

!   OBJECTIFS DU PROJET�

La façon dont nous percevons le monde nous apparaît naturelle et sans efforts, mais repose sur de nombreux processus sensoriels. Par exemple, nous mémorisons rapidement les objets pertinents en fonction du contexte et les configurations des pièces et les couloirs. Le but de PACOM est d'implémenter certaines de ces capacités dans un robot et d’introduire dans les cartes de l'information sémantique pertinente pour l'humain.�Ce robot a été développé pour participer au défi Carotte organisé par l’ANR et la DGA.�

!   MÉTHODOLOGIE ET RESULTATS �

Notre robot est équipé d'un télémètre laser à balayage, de sonars, d'une caméra couleur orientable et d'une caméra mesurant la profondeur et la couleur (Kinect). Le système logiciel est fondé sur le framework Urbi de Gostai qui permet de répartir, de paralléliser et de coordonner les différents modules logiciels nécessaires sur les deux ordinateurs embarqués. Notre système repose sur une cartographie 2D par télémétrie laser. �

Sur cette base, nous avons particulièrement cherché à être robuste aux vitres, miroirs, objets 3D et irrégularités du sol présents dans l'environnement.

Pour cela, les capteurs complémentaires du laser sont utilisés pour détecter les obstacles non vus par le laser (graviers, vitres, tables), qui sont ensuite intégrés dans la carte et pris en compte par la planification de trajectoire. Nous avons également développé une approche de segmentation des objets au moyen de l'information 3D qui permet ensuite leur identification en fusionnant l'information de structure 3D, de couleur et de texture. Ces données permettent de construire une carte sémantique intégrant les informations telles que la structure 3D de l'environnement, les pièces présentes, les objets détectés, les types de sols et de murs détectés au moyen de la caméra couleur orientable. Le déplacement du robot est planifié par une stratégie d'exploration multi-objectif permettant de découvrir l'ensemble de l'environnement tout en réalisant une recherche exhaustive d'objets. �

!   CONCLUSION ET PRESPECTIVES �

Au cours de ce projet, nous avons développé plusieurs techniques nouvelles et efficaces pour l’exploration, la reconnaissance d’objets par caméra RGBD, la cartographie sémantique et l’estimation de la saillance visuelle. Ces techniques ouvrent des perspectives d’application intéressantes pour l’autonomie des robots, en particulier dans le cadre de la robotique personnelle et d’assistance.�

PACOM – Panoramic and Active Camera for Object Mapping �

CAROTTE 2009�