Embed Size (px)
Citation preview
SETIT 2005 3rd International Conference: Sciences of Electronic,
Technologies of Information and Telecommunications March 27-31, 2005 – TUNISIA
Méthode générique pour la reconnaissance d'un fauteuil roulant avec un capteur à faible résolution.
Fabrice de Chaumont, Cyril Cauchois, Bruno Marhic, Laurent Delahoche
Groupe Rteam - Institut Universitaire de Technologie d’Amiens, Département Informatique. Université de Picardie Jules Verne (UPJV)
Avenue des facultés, 80000 Amiens – France
[email protected], [email protected] [email protected], [email protected]
Résumé: Dans cet article nous présentons une méthode pour l'identification de formes spéciales. En fait, nous cherchons à trouver un fauteuil roulant et son occupant dans une image omnidirectionnelle aussi rapidement que possible. Nous utilisons deux images omnidirectionnelles pour obtenir une vision stéréoscopique afin de calculer la position relative du fauteuil. Notre méthode nous permet de le détecter très rapidement dans un champs de vision de 360° en une seule ac-quisition. En outre nous pouvons exécuter la détection sans problème d’orientation du fauteuil roulant autour de nos capteurs omnidirectionnels. Mots clés: traitement d’image, reconnaissance de forme, vision omnidirectionnelle, robotique mobile, fauteuil roulant.
1 Introduction Dans [1], la méthode présentée concerne un fau-
teuil roulant manuel et elle consiste à trouver les roues du fauteuil en utilisant la transformée de Hough. Le problème principal est qu’entre un fauteuil roulant électrique et un fauteuil manuel il existe une différence de taille des roues (comme le montre la Figure 1). En fait, pour un fauteuil roulant manuel l’extraction des roues est relativement facile car elles ont un grand diamètre, mais sur un fauteuil électrique elles sont trop petites pour assurer leur détection. De plus, la trans-formée de Hough est très gourmande en temps de cal-cul. En outre cette méthode ne peut pas fonctionner si le fauteuil roulant est vu de face ou de dos. Dans le notre application nous voulons avoir un robot qui garde une certaine distance par rapport au fauteuil et qui peut le suivre même durant un trajet même si à un instant donné, le fauteuil effectue un tour sur lui même.
De plus, la méthode présentée en [1] ne peut être utilisée que par une caméra fixe. L’algorithme effectue une soustraction du fond pour obtenir le fauteuil rou-lant. Tout ceci génère beaucoup de contraintes que nous ne pouvons pas admettre. Nous avons besoin
d’un système qui peut fonctionner dans n’importe quel bâtiment et maison.
Figure 1. Vue latérale de deux fauteuils roulants différents. Celui de gauche est un fauteuil manuel et comme vous pou-vez le constater, les roues sont très présentes. Le modèle de droite est un fauteuil électrique, les roues sont nettement plus petites et ne peuvent être facilement car il n’y a pas de "vide" pour améliorer la segmentation.
Utiliser la reconnaissance de formes est sûrement
une bonne chose pour le suivi mais ce n’est pas le cas pour l’initialisation du système. Dans notre applica-tion, nous utilisons un capteur de vision omnidirec-tionnelle [5]. Pour la détection nous pourrions « dé-plier » l’image omnidirectionnelle en utilisant un filtre
SETIT2005
filtre bilinéaire [4], mais c’est une opération qui est très coûteuse en temps de calculs. Nous pourrions aus-si utiliser la reconnaissance de forme sans « déplier » l’image omnidirectionnelle mais en effectuant des rotations du motifs recherché dans l’image, ce qui re-viens au même mais qui pourrait être une bonne alter-native fonction du matériel utilisé pour améliorer le processus de traitement de l’image.
Nous verrons tout au long de cet article que le but de notre application est de suivre un fauteuil roulant avec un capteur de vision de faible résolution et dans un environnement générant des images très bruitées. De telles circonstances ne sont pas appropriées pour la recherche de motifs, en outre le fauteuil roulant est un objet particulier en raison de sa complexité: il y a des zones dans lesquelles nous pouvons voir au travers, et un léger changement de son orientation implique des changements très sensibles dans l’image.
Par conséquent, si nous voulons utiliser un fauteuil roulant différent ou changer l'occupant, la base de données des motifs de recherche devrait être le recons-truite ce qui représenterait un travail fastidieux à cha-que changement.
Figure 2. Différents fauteuils roulants. Cette figure montre comment des fauteuils roulants peuvent être différents en forme ainsi qu’en couleur. De plus, ils sont conçus pour re-cevoir différents équipements afin d’aider l’occupant ce qui change encore l’aspect de celui-ci.
Cet article s’organise comme suit : tout d'abord,
nous traiterons des hypothèses faites afin d’utiliser cette méthode. Alors nous montrerons le genre de données requises pour une telle détection, l'algorithme, l'application avec la vision stéréoscopique omnidirec-tionnelle, et pour finir certains résultats expérimentaux qui montreront la consommation en temps machine relative à cette méthode.
2 La méthode La méthode présentée ici est basée sur le fait que
nous pouvons détecter séparément différentes parties
d’un fauteuil roulant. Donc la détection est réalisée en fonction de l’ordre vertical des différentes parties (tel que jambes, corps et tête) et aussi de l’altitude et de la hauteur des différentes parties Enfin, nous utilisons la vision stéréoscopique pour s’assurer que la localisa-tion est correcte en profondeur.
Figure 3. Cette figure montre les deux capteurs omnidirec-tionnels utilisés pour la détection. Pour cet exemple, nous déplaçons manuellement la plate-forme expérimentale sur laquelle sont places les capteurs (il n’y a pas de déplacement motorisé). Nos expérimentations sont réalisées dans un cou-loir avec un éclairage classique. Comme l’occupant est ha-billé de blanc, plus ou moins la même couleur que les murs, cela rend nos expérimentations plus difficiles. De plus, le fauteuil est noir tout comme certains objets situés dans le couloir avec la même altitude que le fauteuil. Donc nous ne nous sommes pas aidé par une couleur spécifique utilisée comme marqueur silencieux.
Notre idée est d’utiliser certaines propriétés des
capteurs de vision omnidirectionnelle: tous les rayons dans notre image omnidirectionnelle correspondent à des éléments verticaux de la scène observée. Le fau-teuil et son occupant forme un corps rigide en dépit du fait que l’occupant puisse bouger un peu. Ces mouve-ments ne mettent pas en défaut la détection du fauteuil roulant. La méthode que nous présentons ici doit fonc-tionner pour différent type de fauteuil roulant. Ils peu-vent être très différents, comme le montre la figure 2, c’est pourquoi nous devons trouver une méthode géné-rique pour les détecter. Le but de notre méthode est d’être capable de détecter un fauteuil roulant avec un minimum de données fourni par l’utilisateur, et d’avoir un algorithme de détection robuste et très rapide. 2.1 Hypothèses
La détection du fauteuil roulant implique certaines
hypothèses:
1. Nous devons connaître les dimensions de cer-taines parties du fauteuil roulant. Cela peut être aussi certaines dimensions de l’occupant.
2. Pour chacune d’elles, nous devons connaître leur altitude et leur hauteur.
3. Dans un but de robustesse, nous devons sa-voir dans quel ordre vertical ces parties appa-raissent.
4. Les parties observées par notre algorithme ne doivent pas être texturée.
Dans cet article, nous allons montrer la méthode en
utilisant des capteurs de visions omnidirectionnelles
SETIT2005
mais un capteur de vision classique pourrait être utilisé aussi.
Cette méthode pourrait aussi être utilisée avec des caméras noir et blanc mais la détection serait plus dif-ficile. Il est évident que si les couleurs recherchées sont très différentes de celles de l’environnement, chercher ces dîtes couleurs devient très facile. Dans une image en niveau de gris, un vert, un rouge ou un bleu pur apparaissent avec une valeur très proche alors que dans un système RVB les valeurs sont différentes. Nous pouvons dire que si les couleurs recherchées sont très proches les unes des autres, notre algorithme peut seulement utiliser la hauteur et l’altitude des di-vers objets. Donc dans une image en niveau de gris, notre algorithme n’est pas aussi robuste qu’avec une image couleur.
2.2 La méthode proposée
2.2.1 Initialisation
Figure 4. Différentes vues du fauteuil roulant utilisé lors des expérimentations. Dans cette figure, les différents chiffres montrent les zones qui sont recherchées par notre algo-rithme. Nous avons choisi ces zones car elles les plus signi-ficatives pour représenter ce fauteuil et son occupant. La zone 1 est la tête, la zone 2 le corps, la 3 les jambes, la 4 le dossier et la 5 l’accoudoir.
Notre méthode est basée sur la reconnaissance de
différentes parties relatives à un fauteuil roulant. Elles doivent être aussi pertinentes que possible. Dans l’image de la figure 4, la tête de l’occupant représente la partie 1. Dans une image à basse résolution la détec-tion de la tête revient à effectuer une détection de peau [2]. Dans notre méthode, nous considérons la figure comme un intervalle de couleurs borné par deux cou-leurs extrêmes, directement prélevée dans l’image par l’utilisateur. Les couleurs sont sélectionnées dans un flux d’images et non sur une seule image. Ceci pour s’assurer que les couleurs définies dans l’intervalle ne sont pas spécifique à une seule image. En utilisant un
flux d’images nous évitons des artéfacts tels que les réflexions sur la peau ou sur des parties métalliques.
La partie 2 est le corps de l’occupant. Nous avons choisi d’utiliser un pull blanc pour le rendre plus diffi-cile à détecter (avec un pull rouge dans une scène où la présence de rouge est nulle, trouver l’occupant aurait été trivial).
Les jambes de l’occupant forment la troisième par-tie, encore une fois la couleur n’est pas aisée à trouver puisqu’il s’agit du gris.
Les parties 4 et 5 sont des éléments du fauteuil rou-lant. Les deux sont noires mais n’ont pas les mêmes dimensions. Nous verrons par la suite que notre algo-rithme effectue le distinguo entre les deux.
Bien entendu, plus nous avons de parties à recher-cher et plus la détection est robuste.
La seconde partie de l’initialisation consiste à défi-
nir les bornes des intervalles de couleurs des différen-tes parties à rechercher. Pour trouver les deux bornes des intervalles nous avons juste à relever différents points de chaque partie dans les images provenant des cameras. Nous avons aussi besoin de la hauteur et de l’altitude de chacune des différentes parties. Les résul-tats obtenus durant nos expérimentations sont résumés dans le tableau suivant :
Partie R G B Hauteur
(cm) Min 54 33 17 110 Tête Max 94 72 50 130 Min 93 98 42 70 Corps Max 255 255 136 110 Min 26 27 9 10 Jambes Max 82 96 37 70 Min 0 0 0 50 Le dossier Max 60 60 60 117 Min 0 0 0 45 L’accoudoir Max 60 60 60 60
Tableau 1. Données nécessaire pour notre méthode. Des-cription des différentes parties.
Ensuite nous avons besoin des différents ordres
verticaux des zones recherchées correspondant aux différentes postures du couple fauteuil/occupant. Ils sont donnés en partant du bas vers le haut :
Bas Haut
Le dossier L’accoudoir Corps Tête L’accoudoir Corps Les jambes Corps Les jambes Corps Tête
Tableau 2. Ordonnancements verticaux des zones recher-chées pour les différentes postures possibles.
SETIT2005
2.2.2 Graduation d’un pixel dans l’image corres-pondant à un angle d’observation.
Figure 5. Cette image montre la graduation du capteur. Du cercle intérieur vers le cercle extérieur, les différents cercles représentent les angles d’observation du capteur. Dans le cas du cercle extérieur, l’angle d’observation est de 45 degrés.
2.2.3 L’algorithme principal
������������� ���������������������
��������������������������������� �
������������� ���� ������ ���� �� �
�������������� ������������������
�
�����!"�#���$%&����#�'
(���������������������)����
������*�� ������������
��������������������������
��������� ����������+�
�����������������������������������������
������������������������������
,����������������������-��������+
� .��������������������������
�����������������
������������������������
Boucle principale
/�������������� �������
��� ��������������������+��
0������������ �����������
��������������������+�
/�������������� ��������
�������1���������������������
(���������������������)����
������*�� ������������
��������������������������
��������� ����������+�
/�������������� �������
��� ��������������������+��
0������������ �����������
��������������������+�
/�������������� ��������
�������1���������������������
Figure 6. Ce diagramme montre l’algorithme utilisé pour la détection d’un fauteuil roulant. Le même travail est réalisé sur chacune des deux images. Dans cette représentation, nous montrons deux diagrammes identiques dans le but de mettre évidence le fait que cette étape pourrait être paralléli-sée et, par conséquent, optimisée.
a ) Recherche des différents rayons dans l’image qui peuvent correspondre aux couleurs préalable-ment définies.
Pour chaque rayon dans l’image omnidirection-nelle (nous avons défini 360 rayons) nous traitons tous les pixels. Lorsque la couleur d’un pixel correspond à la couleur d’une des parties recherchées, nous démar-rons un nouveau segment. Le segment est agrandi tant que la couleur des pixels qui sont traités sur le même rayon correspond à l’intervalle de couleur défini pour la zone trouvée.
De manière à rendre cette opération plus rapide, nous effectuons ce test tous les 4 pixels. Si un segment est trouvé alors nous traitons les pixels restants mais avec un décalage de 1, puis 2, puis 3 de manière à trai-ter tous les pixels du segment. Cette méthode est plus rapide que de tester tous les pixels le long du rayon et en plus elle permet de gérer les scissions d’un seg-ment. En effet, si il y a des cassures au sein d’un seg-ment, elles sont plus facilement détectées puisque nous travaillons sur le segment dans son intégralité que nous aurions éventuellement cassé en plusieurs petits segment si nous avions travaillé avec un pas de un. De plus, les points testés sont toujours les mêmes, ainsi leurs coordonnées sont pré-calculées afin d’améliorer les performances de l’algorithme.
Pour une meilleure correspondance des couleurs, nous utilisons des intervalles définis sur chaque com-posante en RVB 24bits. Une couleur acceptée est une couleur avec les 3 composantes à une même distance des bornes des différents intervalles des composantes Rouge, Verte et Bleue. En fait, nous ne pouvons utili-ser un simple algorithme qui accepterais une couleur si ses trois composantes R, V et B était chacune dans les intervalles définies pour la zone en cours de traite-ment. Par exemple, si nous testons une valeur com-prise dans les intervalles RVB dont les bornes sont (0,0,0) et (60,60,60), la couleur (0,0,60) pourrait être acceptée mais ce serait un erreur puisque cette couleur serait un bleu foncé alors que nos intervalles définis-sent une couleur comprise entre noir et gris foncé. Donc notre méthode exclura cette couleur puisqu’elle n’est pas dans une graduation linéaire au sein des trois intervalles..
b ) Suppressions des mauvais segments verticaux.
Pour chaque segment trouvé, nous regardons l’altitude et la hauteur de la zone (partie) associée. No-tre détection est faite dans une zone allant de 1 mètre à 6 mètres tout autour des capteurs. Avec ces données nous pouvons trouver les angles extrêmes où le seg-ment peut se trouver dans l’image omnidirectionnelle.
Alors, pour les segments restants, nous pouvons trouver la hauteur (longueur) théorique que les seg-ment observés devraient avoir. En utilisant le point le plus haut ( le point le plus haut est le plus pertinent car son angle est plus significatif), si le second point
SETIT2005
(l’autre extrémité) n’a pas le bon angle, le segment est rejeté.
c ) Fusion des segments pour définir des zones.
Tous les segments définissant la même partie sont fusionnés ensemble s’ils ont à peu près la même hau-teur et s’ils sont suffisamment proche au niveau de leurs angles. Cette étape transforme tous nos segments en zones. d ) Suppression des mauvaises zones en utilisant l’ordonnancement vertical.
Les zones qui ne respectent pas un des différents ordonnancements possibles donnés par le tableau 2 sont supprimées.
e ) Utilisation des deux résultats pour calculer la position du fauteuil roulant.
Les résultats obtenus sur les deux images omnidi-rectionnelles sont utilisés comme des capteurs gonio-métriques. Nous pouvons obtenir la position complète du fauteuil roulant avec un seul capteur mais le bruit est trop important et cela pourrait occasionner de mauvais résultats. En effet, nous avons vu que le dos-sier et l’accoudoir ont la même couleur, donc si le dos-sier est vu de loin, il pourra être vu comme un accou-doir vu plus proche. A cause de ce genre de problème, nous utilisons les résultat des deux images. L’intersection des deux azimuts correspond à l’emplacement où se situe le fauteuil.
Figure 7. Une image omnidirectionnelle et la partie corres-pondant à la zone de détection du fauteuil roulant.
3 Résultats expérimentaux
L’image omnidirectionnelle de la figure 7 a une ré-solution de 1024x768 pixels avec 24 bits par pixel. Dans cette image, la hauteur du fauteuil roulant et de son occupant est de 120 pixels. Les deux vignettes en haut de la figure représente une vue du fauteuil rou-lant. Celle de gauche à simplement subit une rotation alors que celle de droite montre quelles régions ont été détectées. Nous pouvons remarquer que la tête, l’accoudoir et le dossier ont été détectés.
Figure 8. Vues stéréoscopiques représentant deux détec-tions simultanées du fauteuil roulant.
Sur la figure 8, vous pouvez observez deux acqui-
sitions omnidirectionnelles simultanées. Sur chacune d’entres elles, une détection a été effectuée avec suc-cès. Ces détections sont identifiés par les encadrés blanc en surimpression sur les images omnidirection-nelles. Ici, la tête, le dossier, les accoudoirs et les jam-bes ont été détectés.
La figure 9 montre différents échantillons extraits de la séquence expérimentale que nous avons menée le long d’un couloir intérieur. Ces extraits montrent dif-férentes détections avec des postures de face, de dos, de trois quart face. Selon la configuration, seul le dos-sier est détecté, ou bien les jambes, la tête et les ac-coudoirs ou bien seulement la tête et un accoudoir. Ce-la montre bien la souplesse de la détection puisque pour détecter un accoudoir par exemple, les seules
SETIT2005
connaissances que nous avons sont sa couleur, sa hau-teur et sont altitude dans la scène observée.
Figure 9. Ces échantillons montrent les différentes parties retrouvées dans les images omnidirectionnelles. Ces images sont extraites d’une séquence complète prise dans un cou-loir. Le fauteuil roulant est détecté sur plus de 90% d’entre elles.
Figure 10. Utilisation du processeur en millisecondes (ré-sultats obtenus en utilisant un Pentium® 4 à 2,2GHz). Nous pouvons constater que tout au long de la séquence, la consommation du processeur est relativement régulière.
4 Conclusions et perspectives Dans cet article nous avons présenté une méthode
de détection de fauteuil roulant assez robuste et souple d’utilisation. En effet, dans l’expérimentation que nous avons pu mener, nous avons noté que le fauteuil est correctement détecté dans plus de 90% des cas. Il est à noter que dans chaque détection, le fauteuil est recher-
ché dans l’intégralité de l’image. Ainsi, en ajoutant une connaissance a priori sur le positionnement du fauteuil image après image, nous pensons pouvoir aug-menter notre pourcentage de détections correctes.
Cette méthode est suffisamment générique pour pouvoir être utilisée pour la détection d’autres type d’objet à condition de conserver les verticales durant le mouvement et d’avoir toujours la même altitude tout au long de l’observation.
Notre travail futur se décompose en trois parties :
- Créer un algorithme qui peut générer automa-
tiquement les données nécessaires à la détec-tion d’un fauteuil roulant,
- Utiliser ces données afin de connaître la direc-tion du fauteuil roulant (son orientation),
- Avoir des modèles indépendants en utilisant cette méthode afin de détecter plusieurs fau-teuils roulants et d’autres objets déjà connus en terme de données.
Remerciements
Merci à Julien Verkest pour son dévouement, sa gentillesse et sa bonne humeur durant cet été.
Ce travail a été financé par << Le Conseil Régional de Picardie >>
Références [1] Ashish Myles , Dr Niels Da Vitoria Lobo, Dr Mubarak Shah ,
“Wheelchair Detection in a Calibrated Environment”, 5th Asian Conference on Computer Vision - January 2002.
[2] R.Kjeldsen and J.R.Kender. Finding skin in Color Images, in proceedings of the Second International Conference on Auto-matic Face and Gesture Recognition, October 14-16, Killing-ton VT 1997.
[3] C. Wren, A.Azarbayejani, T.Darrell, and A.Pentland. Real-time Tracking on the Human Body, SPIE Conference on Inte-gration Issues in Large Commercial Media Delivery Systems, volume 2615, 1995.
[4] Fast Bilinear Filtering : Peter Walsh, « The Zen of Direct3d Game Programming » Muska & Lipman Publishing ( June 2002 ). ISBN 0761534396.
[5] C. Cauchois, E. Brassart, L. Delahoche, C. Drocourt. Locali-sation spatiale par Vision Omnidirectionnelle Conique, Inter-national Conference on Sciences of Electronic, Technologies Of Information and Telecommunications (SETIT 2004), March 15-20, 2004, Tunisia.
