1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001

1 Navigation dun vhicule intelligent laide dun capteur de vision en lumire structure et code thse prsente par David Fofi le 18 septembre 2001 Travaux dirigs par : El Mustapha Mouaddib, Professeur lUniversit de Picardie Jules Verne (France) Joaquim Salvi, Matre de Confrences lUniversit de Girona (Espaa)

2 0. sommaire 1. introduction gnrale 2. la vision en lumire structure 3. segmentation et dcodage 4. reconstruction tri-dimensionnelle 5. fonctions visuelles pour la navigation 6. conclusions et perspectives

3 1. introduction gnrale Problmatique Comment tirer parti de la vision en lumire structure pour la perception dun robot mobile ? Quels sont les avantages et les inconvnients que lon peut tirer dun tel capteur pour la navigation dun robot ? Points tudis Dcodage du motif structurant. Segmentation des images codes. Autocalibration du capteur de vision. Mthode de dtection dobstacles et de construction dune carte de lespace libre. Mthode destimation du dplacement du robot par mise en correspondance des plans qui composent la scne.

4 2. la vision en lumire structure 2.1 dfinition 2.2 classification et codage 2.3 applications

5 2.1 dfinition Une lumire structure est une source lumineuse module dans l'espace, le temps, l'intensit et/ou la couleur. La vision en lumire structure consiste projeter une telle source lumineuse sur l'environnement, lui-mme observ par une ou plusieurs camras CCD ; il s'agit en fait de remplacer, dans un systme stroscopique classique, une camra par un projecteur de lumire.

6 2.1 dfinition Point de surbrillance : Pas de problme de mise en correspondance. Balayage suivant les deux axes. Plan de lumire : Correspondance entre points de la ligne projete ? Balayage suivant un axe. Multi-plans : Correspondance entre les plans ? Pas de balayage. Motif structurant : Problme de mise en correspondance. Pas de balayage.

7 2.2 classification et codage classification La dpendance temporelle (statique ou dynamique) La nature de la lumire mise (binaire, niveaux de gris ou couleurs) La dpendance aux discontinuits (priodique ou absolu) 3 critres lis classification propose par Batlle, Mouaddib et Salvi.

8 2.2 classification et codage exemples de codage Posdamer et Altschuler Statique Binaire Absolu

9 2.2 classification et codage exemples de codage Le Moigne et Waxman Dynamique Binaire Absolu

10 2.2 classification et codage exemples de codage Carrihill et Hummel Statique Niveaux de gris Absolu

11 2.2 classification et codage exemples de codage Vuylsteke et Oosterlinck Dynamique Binaire Absolu

12 2.2 classification et codage exemples de codage Boyer et Kak Dynamique Couleurs Priodique

13 2.2 classification et codage exemples de codage Tajima et Iwakawa Statique Couleurs Absolu

14 2.2 classification et codage exemples de codage Griffin, Narasimhan et Yee Dynamique Couleurs Absolu

15 2.2 classification et codage notre choix PLAN IMAGE PLAN PROJECTEUR

16 2.3 applications mtrologie Laser Camra linaire Plaque mtallique Garcia, Garcia, Obeso et Fernandez Projecteur Verre dpoli Camra Profil analys Mouaddib, Brassart et Fofi Profilomtrie pour des plaques mtalliques. Une camra linaire observe un point de surbrillance projet sur la surface de la plaque mtallique. Profilomtrie pour des plaques de verre. Le verre est illumin par un motif binaire, la dformation du motif se projette sur du verre dpoli observ par la camra.

17 2.3 applications anthropomtrie Plan de base Plan de rfrence Plan image Diapositive Sotoca, Buendia, Iesta Mesure des dformations pathologiques du dos. Une grille code est projete sur le dos des patients. La calibration consiste projeter cette grille sur un plan de rfrence et sur un plan de base. Par des calculs, bass sur la similarit des triangles, une image de profondeur est obtenue partir des donnes de l image.

18 2.3 applications robotique Robotique sous-marine. Le capteur est enferm dans un caisson en plexiglass. La ligne de vue est diffracte deux fois. La ligne de base nest plus constante. Robotique extra-terrestre : Pathfinder. Deux lasers sont diffracts en quinze faisceaux coplanaires et observs par les camras. camra laser Matthies, Balch, Wilcox camra miroir rayon laser Plexiglass Air Eau ligne de base ligne de base effective Chantier, Clark et Umasuthan

19 3. segmentation et dcodage 3.1 lments de colorimtrie 3.2 segmentation de limage 3.3 dcodage du motif 3.4 rsultats exprimentaux

20 3.1 lments de colorimtrie La colorimtrie, ou mtrique des couleurs, est la science qui permet de chiffrer et mesurer les couleurs. Trois paramtres dfinissent la couleur : La teinte Le degr de puret (saturation) Le facteur de clart (luminance) quest-ce que la couleur ? Le principe de la trivariance visuelle pose que le mlange de trois radiations indpendantes permet de reproduire toutes les impressions colores. Les couleurs de base sont appels couleurs primaires ; celles qui, mlanges aux primaires, donnent du blanc, couleurs secondaires.

21 3.1 lments de colorimtrie espace de couleurs Un espace des couleurs est une reprsentation gomtrique des couleurs dans un espace gnralement tri-dimensionnel. Un espace chromaticit constante est un espace au sein duquel les distances reprsentent approximativement les diffrences de couleur perues par loeil Loi de Weber-Fechner

22 3.2 segmentation de limage Image en Lumire Structure Couleurs RGB Image en Lumire Structure Couleurs Lab Image de Luminance (L) Image de Chromaticit (a, b) Traitements Bas-Niveau Dcodage du Patron de Lumire Image Segmente et Dcode Points d'Intersection Segments Horizontaux et Verticaux schma gnral 1. Traitements bas-niveau 2. Points dintersection 3. Dcodage

23 3.2 segmentation de limage traitements bas-niveau originalegalisation binarisation squelettisationHough

24 3.2 segmentation de limage points dintersection Calcul de lintersection entre horizontales et verticales Si t=0 : droites parallles Sinon, le point dintersection est x/t, y/t.

25 3.3 dcodage du motif conversion RVB - Lab RVB XYZ Lab

26 3.3 dcodage du motif mesures dans ab 1 Les classes sont bien discrimines. 2 Elles sont loignes des mesures thoriques. 3 Elles semblent se rapprocher du point dachromatisme. 4 Le positionnement relatif des six classes est respect. Utiliser un algorithme de coalescence pour partitionner les mesures en six classes. Utiliser le positionnement relatif des classes pour initialiser lalgorithme.

27 3.3 dcodage du motif algorithme de coalescence 1 Choisir n centres de classe (n = 6) 2... Crer une nouvelle partition en affectant chaque vecteur au centre de la classe qui est la plus proche (au sens de lcart chromatique : ) 3 Calculer les centres de gravit des classes ainsi obtenues. 4 Rpter les tapes 2 et 3 jusqu' stabilisation.

28 1 Calculer le centre de gravit de tous les points mesurs dans lespace ab. 2 Extraire le point dont la composante b est la plus leve (suppos jaune). 3 Calculer lcart chromatique d entre ces deux points. 4 Initialiser le centre de la classe i : 3.3 dcodage du motif initialisation de lalgorithme

29 3.4 rsultats exprimentaux segmentation

32 3.4 rsultats exprimentaux analyse quantitative

33 3.4 rsultats exprimentaux dcodage

34 4. reconstruction tri-dimensionnelle 4.1 modlisation et calibration 4.2 proprits du capteur 4.3 auto-calibration du capteur 4.4 rsultats exprimentaux

35 4.1 modlisation et calibration Axe optique Repre du monde Repre de la camra Repre rtinien Repre image x x y y z z (u 0, v 0 ) Calibrer, cest estimer la matrice de passage dun point 3D exprim dans le repre du monde son image exprime en pixels dans le repre image. principe

36 4.1 modlisation et calibration camra YwYw XwXw ZwZw OwOw Un mouvement rigide Une projection 3-D / 2-D Un changement de coordonnes

37 4.1 modlisation et calibration projecteur Un projecteur de lumire peut tre vu comme une camra oprant lenvers, en inversant le sens de la ligne de vue. Gomtriquement, il ny a aucune diffrence entre une camra et un projecteur. Lun et lautre peuvent donc tre modliss de la mme manire. Pour calibrer le projecteur, une solution consiste relever les coordonnes des traces lumineuses projetes la surface dune mire de calibration.

38 4.2 proprits du capteur test de colinarit spatiale S R Q P Les birapports du motif et de limage sont gaux si les 4 points sont colinaires.

39 4.2 proprits du capteur test de coplanarit p o'p' q'r' s' o qr s {o;p,q,r,s}={o';p',q',r'} Les birapports du motif et de limage sont gaux si les 5 points sont coplanaires.

40 4.2 proprits du capteur stabilit du birapport Erreur sur les birapports - bruit de 0 0.5d (d est la distance entre 2 points successifs) Nota : pour comparer les birapports, une distance projective est ncessaire. Mthode des birapports alatoires [ K. Astrm, L. Morin, "Random cross-ratios", Research Report nrt 88 imag-14, LIFIA, 1992].

41 4.2 proprits du capteur validit du modle affine m n m' n' Valide si 0 projection affine

42 4.3 autocalibration du capteur autocalibration : tat de lart Les quations de Kruppa [Faugeras, Maybank, Luong, Hartley] Stratification des gomtries : - paramtres intrinsques constants [Hartley, Heyden, Astrm] - contraintes Euclidiennes [Boufama, Mohr, Veillon]

43 4.3 autocalibration du capteur autocalibration : tat de lart + = MOUVEMENT DU PROJECTEUR MOUVEMENT DES POINTS 3D LE MOTIF GLISSE SUR LES OBJETS RECONSTRUCTION A PARTIR DUNE VUE ET DUNE PROJECTION CAMERA + PROJECTEUR CAPTEUR HETEROGENE LES PARAMETRES INTRINSEQUES NE PEUVENT ETRE CONSTANTS Reconstruction projective + contraintes Euclidiennes

44 4.3 autocalibration du capteur reconstruction projective n images composes de m points... m ij : point image P j : matrice de projection M j : point objet (U ij, V ij ) : coord. pixels

45 Une solution unique ne peut pas tre calcule puisque... W matrice 4x4 inversible : une colination de lespace 3-D 4x4 - 1 (chelle) = 15 degrs de liberts, donc... 5 points objets sont choisis comme base projective. On leur affecte les coordonnes de la base canonique. RECONSTRUCTION PROJECTIVE (distances, angles et parallelisme ne sont pas conservs) 4.3 autocalibration du capteur reconstruction projective

46 4.3 autocalibration du capteur contraintes euclidiennes Les transformations Euclidiennes forment un sous-groupe des transformations projectives : Il existe une colination W qui redresse la reconstruction projective en reconstruction Euclidienne TRADUIRE DES CONNAISSANCES EUCLIDIENNES SUR LES POINTS 3-D EN CONTRAINTES SUR LES ELEMENTS DE W. Apparier 5 points projectifs avec leur correspondant Euclidiens ? OUI, MAIS... Les coordonnes Euclidiennes des points sont rarement disponibles sils le sont : les points dintersection du motif doivent se projeter prcisment sur les points connus.

47 4.3 autocalibration du capteur contraintes du paralllogramme CARRE PROJETE SUR UNE SURFACE PLANE IMAGE OBTENUE A B C D On prend lhypothse que le capteur a un comportement affine.

48 4.3 autocalibration du capteur contraintes dalignement Motif Plan vert. Plan horiz. Points appartenant des plans verticaux ou horizontaux. Distance arbitraire entre 2 plans de mme orientation. Un point dintersection choisi comme origine.

49 4.3 autocalibration du capteur contraintes dorthogonalit Si la condition n est pas vrifie Contrainte dorthogonalit rduite : A'B' A'C' = (x A' - x B' )(x A' - x C' )+ (y A' - y B' )(y A' - y C' )+ (z A' - z B' )(z A' -z C' ) = 0 (x A' - x B' )(x A' - x C' )+ (y A' - y B' )(y A' - y C' ) = 0 Traces lumineuses Plans de lumire Lignes projetes Surfaces planes A C B A' B' C'

50 4.3 autocalibration du capteur exemple Une contrainte dalignement : x A' = x B' (relation entre 2 points Euclidiens inconnus) On a : [x A' ; y A' ; z A' ; t A' ] T = W [x A ; y A ; z A ; t A ] T [x B' ; y B' ; z B' ; t B' ] T = W [x B ; y B ; z B ; t B ] T Alors : W 1i x A = W 1i x B (relation entre 2 points projectifs connus) Le systme dquations est rsolu par Levenberg- Marquardt. 15 contraintes indpendantes sont ncessaires (W est dfinie un facteur dchelle prs)

51 4.4 rsultats exprimentaux test de colinarit Birapport thorique (motif) = 1.3333 Birapport mesur (image) = 1.3287 Erreur projective =6.9 10 -4 Dcision = les points sont colinaires Birapport thorique (motif) = 1.3333 Birapport mesur (image) = 1.3782 Erreur projective =6.2 10 -3 Dcision = les points ne sont pas colinaires

52 4.4 rsultats exprimentaux test de coplanarit Birapport thorique (motif) = 2 Birapport mesur (image) = 1.96 Erreur projective =2.2 10 -3 Dcision = les points sont coplanaires Birapport thorique (motif) = 2 Birapport mesur (image) = 2.186 Erreur projective =5.9 10 -3 Dcision = les points ne sont pas coplanaires

53 4.4 rsultats exprimentaux simulations retro-projection des points 3D points sur les plans images (cercles : points synthtiques, croix : retro-projections)

54 4.4 rsultats exprimentaux scnes relles

55 5. fonctions visuelles pour la navigation 5.1 dtection dobstacles 5.2 dtection du mouvement 5.3 estimation du mouvement 5.4 rsultats exprimentaux

56 5.1 dtection dobstacles Quasi-verticale dans l'image Obstacle principe Le systme de vision est plac de manire ce quune verticale du motif projete sur une paroi verticale donne une verticale dans limage. Alors la dtection dune quasi-verticale dans limage quivaut la dtection dun obstacle dans la scne.

57 5.1 dtection dobstacles carte de lespace libre 1 On attribue chaque lment vertical du motif une tiquette E i [1 ; 29]. 2 On projette les points reconstruits sur le plan du sol sous la contrainte : 3 Pour un ensemble de points ayant la mme tiquette, on ne garde que celui dont la distance au robot est la plus courte :

58 5.1 dtection dobstacles rsultats

59 5.1 dtection dobstacles rsultats

60 5.2 dtection du mouvement mouvement apparent En vision en lumire structure, on appellera mouvement apparent le dplacement d'un mme lment de motif (gnralement, les lments de motif considrs sont les points d'intersection) d'une image sur l'autre aprs un dplacement du capteur.

61 mouvements singuliers Projecteur Camra Projecteur Camra mouvement perpendiculaire la normale dun plan mouvement de rotation autour de laxe de rvolution LE MOUVEMENT APPARENT EST NUL 5.2 dtection du mouvement

62 effet de bord Translation du projecteur 5.2 dtection du mouvement Le motif est projet sur une surface. Le mouvement du capteur fait quun lment de motif passe brusquement dune surface une autre.

63 5.3 estimation du mouvement objectif (R, t) O' c OcOc Estimer le dplacement du capteur dans un environnement statique. Reprer les mouvements aberrants pour dtecter la prsence dobstacles mobiles.

64 5.3 estimation du mouvement dplacement des plans Perte des points 3D, donc les plans sont utiliss comme primitives. On a : En combinant :

65 quations des plans 5.3 estimation du mouvement Avec 3 points : Avec n points : La plus petite valeur propre associe la matrice semi-dfinie positive :

66 mise en correspondance 5.3 estimation du mouvement 1 Ecart angulaire : 2 Si : (Ne dpend que des paramtres de rotation) (Dpend des paramtres de rotation et de translation)

67 extraction des paramtres 5.3 estimation du mouvement Reprsentation RPY (Roll, Pitch, Yaw)

68 5.3 rsultats exprimentaux description H Un cube de 100mm darte, dont le dplacement est donn par la matrice H Cest partir des 6 plans du cube quon ralisera la mise en correspondance et lestimation du dplacement.

69 5.3 rsultats exprimentaux simulations : MeC = 0.05 Paramtres fixs : Rsultats (50 mesures pour chaque niveau de bruit, pour les 6 plans du cube) : bruit = 4 mm

70 5.3 rsultats exprimentaux simulations : dplacement bruit = 1mm Translation de 100mm suivant z : Rotation de /4 autour de z :

71 6. conclusions et perspectives Mise en correspondance fiable et rapide. Traitements simplifis par rapport la vision classique. Les outils fondamentaux utiles la navigation (autocalibration, obstacles, mouvement) sont applicables la vision en lumire structure. La projection dun motif structurant permet un bon compromis entre les mthodes robotiques bases sur les lumires structures mono- dimensionnelles et la strovision. Dpendance vis--vis de la luminosit ambiante. Surfaces de couleurs peu satures privilgies. Amlioration des algorithmes proposs...

Documents

1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001