of 8/8
Approche photométrique pour une triangulation précise El Mustapha Mouaddib 1,3 , Eric Marchand 2,3 , François Chaumette 3 1 Laboratoire MIS (Modélisation, Information et Systèmes), Université de Picardie Jules Verne MIS-UPJV 33, Rue Saint Leu - 80033 Amiens, France 2 Université de Rennes 1 - IRISA 3 INRIA Rennes - Bretagne Atlantique Campus de Beaulieu, 35042 Rennes, France [email protected] Résumé La triangulation est l’opération qui consiste à estimer la position d’un point 3D à partir de points mis en correspon- dance dans les images. Elle a souvent été abordée unique- ment d’un point de vue géométrique, c’est à dire, seules les positions des points ainsi que la géométrie des vues sont utilisées. Lorsqu’il n’y a pas de bruit, le problème de la triangulation est trivial et se résout en inversant les équa- tions linéaires qui lient la position 3D aux positions des points dans les images. Lorsqu’on est en présence de bruit, ce qui est toujours le cas avec des images réelles, une es- timation précise et robuste devient nécessaire. C’est ainsi que des méthodes optimales, sous l’hypothèse d’un bruit gaussien, ont été développées. L’inconvénient majeur de ces méthodes est qu’elles ne tiennent pas compte de l’in- formation photométrique contenue dans les pixels. Nous montrerons dans cet article en quoi ceci peut être gênant. Nous proposerons une nouvelle approche qui est basée sur l’ajustement photométrique. Les résultats sur des images de synthèse et sur des images réelles montreront que cette prise en compte de l’information photométrique améliore la précision de reconstruction 3D. Mots Clef Triangulation, ajustement géométrique, ajustement photo- métrique, reconstruction 3D. Abstract Triangulation is the process of estimating the 3D position of a matched points from images. It has often been addres- sed from a geometric point of view, that is, where only posi- tions of the points and the geometry of the views are used. When there is no noise, this triangulation issue is trivial and is solved by inverting the equations that link the view lines to the 3D point. In the presence of noise, which is always the case with real images, an accurate and robust estimation is needed. Under Gaussian noise assumption, optimal methods have been developed. The major draw- back of these methods is that they do not use the photome- tric information contained in the pixel neighborhood. We propose a new approach that is based on Photometric Ad- justment. The results on synthetic images and real images show that taking into account the photometric information improves the accuracy of 3D reconstruction. Keywords Triangulation, geometric, photometric, 3D reconstruction. 1 Problématique et motivations La reconstruction 3D à partir d’une paire d’images repose souvent sur le paradigme suivant : – extraction de points d’intérêt dans les deux images, – mise en correspondance de ces points, – estimation des lignes de vues, – triangulation pour estimer le point 3D à reconstruire. Notons u 1 et u 2 deux points image appariés issus des deux premières étapes. Ils sont la projection, sur les plans images I 1 et I 2 , d’un point M de R 3 . Ces projections sont modé- lisées à l’aide de deux matrices de projections P 1 et P 2 supposées connues. u i =(u i ,v i , 1) T M =(X,Y,Z, 1) T w u i = K i H i M = P i M (1) où : K est la matrice des paramètres intrinsèques. H est la transformation rigide entre le repère de M et le repère de la caméra. La triangulation est l’opération qui consiste à déduire les coordonnées du point M à partir de u 1 , u 2 , P 1 et P 2 . C’est un problème fondamental et bien connu en vision par ordi- nateur [8]. Dans un système parfait, la triangulation revient à calculer

Approche photométrique pour une triangulation précise · K est la matrice des paramètres intrinsèques. ... vue soient coplanaires, en minimisant le critère ci-dessus tout en

  • View
    214

  • Download
    0

Embed Size (px)

Text of Approche photométrique pour une triangulation précise · K est la matrice des paramètres...

  • Approche photomtrique pour une triangulation prcise

    El Mustapha Mouaddib1,3, Eric Marchand2,3, Franois Chaumette3

    1 Laboratoire MIS (Modlisation, Information et Systmes),Universit de Picardie Jules Verne

    MIS-UPJV 33, Rue Saint Leu - 80033 Amiens, France

    2 Universit de Rennes 1 - IRISA3 INRIA Rennes - Bretagne Atlantique

    Campus de Beaulieu, 35042 Rennes, France

    [email protected]

    RsumLa triangulation est lopration qui consiste estimer laposition dun point 3D partir de points mis en correspon-dance dans les images. Elle a souvent t aborde unique-ment dun point de vue gomtrique, cest dire, seules lespositions des points ainsi que la gomtrie des vues sontutilises. Lorsquil ny a pas de bruit, le problme de latriangulation est trivial et se rsout en inversant les qua-tions linaires qui lient la position 3D aux positions despoints dans les images. Lorsquon est en prsence de bruit,ce qui est toujours le cas avec des images relles, une es-timation prcise et robuste devient ncessaire. Cest ainsique des mthodes optimales, sous lhypothse dun bruitgaussien, ont t dveloppes. Linconvnient majeur deces mthodes est quelles ne tiennent pas compte de lin-formation photomtrique contenue dans les pixels. Nousmontrerons dans cet article en quoi ceci peut tre gnant.Nous proposerons une nouvelle approche qui est base surlajustement photomtrique. Les rsultats sur des imagesde synthse et sur des images relles montreront que cetteprise en compte de linformation photomtrique amliorela prcision de reconstruction 3D.

    Mots ClefTriangulation, ajustement gomtrique, ajustement photo-mtrique, reconstruction 3D.

    AbstractTriangulation is the process of estimating the 3D positionof a matched points from images. It has often been addres-sed from a geometric point of view, that is, where only posi-tions of the points and the geometry of the views are used.When there is no noise, this triangulation issue is trivialand is solved by inverting the equations that link the viewlines to the 3D point. In the presence of noise, which isalways the case with real images, an accurate and robustestimation is needed. Under Gaussian noise assumption,

    optimal methods have been developed. The major draw-back of these methods is that they do not use the photome-tric information contained in the pixel neighborhood. Wepropose a new approach that is based on Photometric Ad-justment. The results on synthetic images and real imagesshow that taking into account the photometric informationimproves the accuracy of 3D reconstruction.

    KeywordsTriangulation, geometric, photometric, 3D reconstruction.

    1 Problmatique et motivationsLa reconstruction 3D partir dune paire dimages reposesouvent sur le paradigme suivant : extraction de points dintrt dans les deux images, mise en correspondance de ces points, estimation des lignes de vues, triangulation pour estimer le point 3D reconstruire.Notons u1 et u2 deux points image apparis issus des deuxpremires tapes. Ils sont la projection, sur les plans imagesI1 et I2, dun point M de R3. Ces projections sont mod-lises laide de deux matrices de projections P1 et P2supposes connues. ui = (ui, vi, 1)

    T

    M = (X,Y, Z, 1)T

    w ui = Ki Hi M = Pi M(1)

    o :K est la matrice des paramtres intrinsques.H est la transformation rigide entre le repre de M et lerepre de la camra.La triangulation est lopration qui consiste dduire lescoordonnes du point M partir de u1, u2, P1 et P2. Cestun problme fondamental et bien connu en vision par ordi-nateur [8].Dans un systme parfait, la triangulation revient calculer

  • lintersection des deux lignes de vue issues de u1 et u2,qui concide avec M. Dans le cas raliste, les deux lignesde vues peuvent ne pas sintersecter (comme on peut le voirsur la figure 1) ou ne pas concider avec le point rel M.Ceci peut tre d :

    1. des erreurs de localisation des points

    2. des erreurs destimation de la matrice de projec-tion (paramtres dtalonnage et transformation rigideentre les vues)

    M

    u1 u2I2I1

    FIGURE 1 Illustration de lapproximation de la triangula-tion par le point milieu

    La mthode du point milieu ( mi distance entre les deuxlignes de vue) est une mthode qui donne de bons rsul-tats et qui est frquemment utilise pour estimer la posi-tion du point 3D. Dautres mthodes existent. On peut entrouver une trs bonne synthse et analyse dans [7]. Danscet article, et dans [6] et [5], les auteurs ont montr que,si on suppose que le bruit qui accompagne les mesuresdes points image est gaussien, alors maximiser la vraisem-blance entre les points dtects et les points corrigs revient minimiser le critre suivant :

    d(u1, u1)2 + d(u2, u2)

    2 (2)

    qui correspond lerreur de reprojection des points images,o les projections dans les deux images de lestim M deM sont u1 et u2 et sobtiennent avec lquation :

    w ui = Ki Hi M = Pi M (3)

    Lide consiste dplacer les points pour que les lignes devue soient coplanaires, en minimisant le critre ci-dessustout en respectant la contrainte pipolaire :

    uT2 Fu1 = 0 (4)

    o F est la matrice fondamentale.La rsolution de ce problme permet de corriger les po-sitions des images du point M pour obtenir les nouvellespositions u1 et u2 qui satisfont la contrainte (4) tout enminimisant (2). On peut aussi reformuler cette contrainte laide de la matrice essentielle.

    Hartley et Sturm [7] ont apport une solution base sur larsolution dun polynme de degr six. Cette mthode estsouvent appele triangulation optimale ou mthode poly-nomiale.Dans un mme temps et sous les mmes hypothses sur lebruit des mesures, [10] ont galement propos une mthodebase sur les mmes critres, mais la rsolution est faite parlinarisation de la contrainte pipolaire puis par itrationssuccessives. Un peu plus tard, dans [11], puis dans [9], unnouvel algorithme itratif de la mthode a t propos.Enfin, dans un article publi en 2010 [12], lauteur re-visite les contributions mentionnes ci-dessus et proposeplusieurs variantes dalgorithmes itratifs pour rsoudre ceproblme. Il montre, et cest l sa contribution importante,que la solution optimale peut tre trouve en deux itra-tions et propose infine un algorithme rapide et trs prcispour la triangulation.Dans ce paradigme, seule linformation gomtrique, i.e.,la position des points images, est utilise. Georgel et al.[2] ont propos dutiliser galement linformation photo-mtrique des points images et de leur voisinage pour les-timation de la pose de la camra et pour la reconstruction3D. Ils ont ainsi labor une approche qui combine linfor-mation gomtrique et photomtrique pour lestimation dela pose de la camra. Cette approche est qualifie duni-fie. Lajout de linformation photomtrique est destin assurer la cohrence et la consistance photomtrique despoints. Les fonctions de cot sont normalises pour rendrequantitativement homognes les deux termes.Cependant, le choix des valeurs des coefficients de la pon-dration entre les deux fonctions de cot pose problme.En effet, il est difficile de savoir a priori sil faut privilgierla contribution du gomtrique au dtriment du photom-trique ou vice et versa.Nous proposons dans la section suivante une approche quise base uniquement sur linformation photomtrique. Elleest trs proche de celle dveloppe dans [1] en vue de lareconstruction 3D dense. Elle prsente lavantage de ga-rantir la consistance ou cohrence photomtrique et vitele problme de la pondration tout en tenant compte dela contrainte gomtrique. Le principe de notre approcheest le mme que celui des mthodes LSM (Least SquareMethod) dveloppes dans [3] et [4]. Cependant, notre tra-vail vise essentiellement raliser la triangulation en utili-sant des patchs l o les mthodes LSM ont pour objectifde recaler des surfaces. Le problme est lgrement dif-frent parce que dans notre cas, les positions des pointsimages apparis sont ajustes en mme temps que le calculdu point 3D.

    2 Approche proposeLobjectif est de reconstruire la position (X,Y, Z) dunpoint M dans R3 de manire trs prcise et sre. Lap-proche repose sur lhypothse que le motif photomtrique(le patch) associ un point M de R3 se projette en deuxmotifs similaires et visibles dans les deux images I1 et I2.

  • La figure 2 matrialise en couleur rouge les patchs 1 et 2autour des deux points images u1 et u2 et autour du pointM.

    I1 12

    u2u1

    I2

    M

    FIGURE 2 Images du patch de M.

    Dans le cas dimages relles, les erreurs dextraction despoints images apparis provoquent des dcalages dans lasuperposition des patchs. Lide principale de lalgorithmeest que si on ajuste les patchs alors on va amliorer la prci-sion de lestimation du point 3D M. Cest ce que nous ap-pelons la triangulation photomtrique. Elle fonctionne enfaisant varier les coordonnes (X,Y, Z) du point M danslespace de manire itrative (voir lalgorithme dans la sec-tion 2.1), afin de minimiser les carts entre les patchs lisaux points apparis.Comme lont montr [1], il est possible destimer gale-ment la normale du patch 3D. Le travail que nous propo-sons se limitant la question de la triangulation, nous nes-timons que la position 3D des points.Contrairement aux mthodes gomtriques qui ne privil-gient aucun des deux points images, lapproche que nousproposons considre que le point extrait dans I1 est lepoint reconstruire et par consquent son patch sera utiliscomme patch de rfrence. On appellera ce point image q :le point dancrage.

    2.1 PrincipePour minimiser lcart entre les patchs, nous proposonsdutiliser la SSD (Sum of Squared Difference) commefonction de cot (eq. (5)) et (eq. (6)) :

    M = argminM

    (M) (5)

    avec :

    (M) =

    r,v1,v2

    (I1(r)I1(v1))2+(I1(r)I2(v2))2 (6)

    o : M R3 : coordonnes du point 3D ajuster. r : coordonnes des pixels du patch , v1 1 : coordonnes des pixels du patch 1,

    v2 2 : coordonnes des pixels du patch 2,Ces patchs sont des rgions carres de pixels, centrs res-pectivement sur q, u1 et u2. Dans lquation (6), le pointq est connu et ne varie pas (point dancrage) et par cons-quent, le patch est galement connu et constant (Fig. 3).Les patchs 1 et 2 correspondent aux patchs issus, res-pectivement, de la projection M sur I1 et I2. Ils sont repr-sents en vert sur la figure 3.Mme si q sert de rfrence, il est primordial dinclure v1et 1 dans la minimisation pour garantir (autant que pos-sible) que M appartienne la ligne de vue associe q.Ceci constitue une contrainte plus forte que la contraintepipolaire.

    1(0)

    2(0)

    M(0)

    M(k)M

    2

    1

    FIGURE 3 Illustration du principe de lajustement. Lespatchs rouges sont les patchs thoriques. La ligne rougeindique un exemple de positions successives prises par lepoint 3D lors du processus itratif.

    Pour rsoudre lquation (5), plusieurs algorithmes sontpossibles (voir [13] pour une discussion approfondie). Ence qui nous concerne, nous avons utilis lalgorithme deLevenberg-Marquardt pour cette minimisation et lqua-tion drive de lhypothse dillumination constante :

    I(v, s) I(v +v, s+s)

    I(v, s) I(v, s) + Ivv +Iss

    Ivv

    Iss

    Iuu+

    Ivv

    Iss

    (7)

    et ensuite :

    I

    u

    u

    MM+

    I

    v

    v

    MM I

    ss (8)

    Les diffrents points images du patch permettent deconstruire un systme surdtermin dquations laide de(8) et destimer ainsi M.uM est value partir de la relation (1). Les matrices Pisont supposes connues (camras calibres).

  • Iu et

    Iv sont values laide de convolutions avec des

    drives de Gaussiennes.Is est approxime par une diffrence entre les intensitsdes patchs. Ce qui donne I1(r) I1(v1) pour le premierterme de (6), et I1(r) I2(v2) pour le second terme, sion pose que I1(r) = I1(r, s), I1(v1) = I1(v1, s1) etI1(v2) = I2(v2, s2).La solution M est approche par itrations successivesM(k) = M(k 1) + M en partant dune positioninitiale M(0) du point 3D. Lobjectif du travail prsentdans cet article tant la triangulation photomtrique, M(0)est calcul soit par triangulation partir des coordonnesdes points images aparis, soit directement avec la valeurdu point 3D fourni par lalgorithme de triangulationgomtrique. litration suivante, lalgorithme estimeune correction appliquer pour obtenir M(1). La nouvelleposition de ce point est projete sur I1 en u1(1) et sur I2en u2(1). Ces points servent extraire les patchs 1(1) et2(1) suivants et ainsi de suite jusqu la convergence versune solution.Le principe expos ci-dessus est immdiatement gnrali-sable plusieurs images. En effet, il suffit de rajouter lestermes concernant les autres images dans la fonction decot.

    2.2 InterpolationComme pour le calcul de la disparit, il est indispensablede procder linterpolation des patchs pour amliorer laprcision de lajustement photomtrique [15], [14].La projection du point M(k) dans I1 et I2 fournit des co-ordonnes relles pour u1(k) et u2(k). La camra a unersolution finie, ce qui a comme consquence :

    Ii(u(k)) = Ii([u(k)u,u(k) + u]) (9)

    u tant la demi-largeur et la demi-longueur dun pixel.Lorsquon ralise une reconstruction 3D partir de u1(k)et u2(k), il y a donc fatalement une incertitude sur la posi-tion de M(k) parce que les pixels sont connus u prs.Dans ce cas, lajustement photomtrique namliore pas lesrsultats de la reconstruction 3D si les patchs sont ajustsau pixel prs.On peut envisager au moins deux solutions. La premireconsiste augmenter la rsolution de limage en ralisantun r-chantillonnage. Cette approche, outre le problmedu temps de calcul parce que relativement important, nefait que repousser le problme du pixellocking. En effet,le raisonnement dvelopp ci-dessus pour la limite de laprcision de lajustement photomtrique, peut tre nou-veau appliqu avec une rsolution plus importante.La seconde solution consiste effectuer une interpolationlocale des images. Nous avons retenu une approche ba-se sur linterpolation bicubique. chaque projection deM(k) sur les images en u1(k) et u2(k), les intensits desdeux patchs 1(k) et 2(k) sont interpols. La SSD est

    ensuite calcule sur ces deux patchs et sur qui aura tinterpol auparavant.

    3 Rsultats exprimentauxLobjectif est dvaluer la prcision de reconstruction despoints 3D et le comportement de lalgorithme en fonctionde la prsence ou non de linterpolation, du bruit gom-trique, et du bruit photomtrique. Nous avons dabord pro-cd une valuation sur des images de synthse.

    Exprience 1 : Validation sur des images de synthse.Pour cela, un couple dimages a t gnr (Fig. 4). Lesimages se composent de 200 points rpartis dans un volumede 400 400 40 cm3 situ 300cm de la camra : 40 points avec Z = 300cm 120 points avec Z = 280cm 40 points avec Z = 320cmLa rsolution de limage est de 1000 1000 pixels. Lesparamtres intrinsques de la camra perspective sont :u0 = v0 = 500, au = av = 714.Le mouvement de la camra entre les deux images est com-pos des translations et rotations suivantes : tx = 10cm ;ty = 5cm ; tz = 5cm ; RotX = 3 ; RotY = 2 ;RotZ = 1

    . Il a t choisi volontairement faible pour mon-trer lapport de la mthode dans le cas critique de faiblebase line. Les coins des objets sont extraits avec un algo-rithme de Harris avec une prcision subpixellique.On a procd la comparaison entre la reconstruction despoints 3D avec la mthode de triangulation gomtrique[12] dcrite dans la Section 1 et notre mthode. Ces m-thodes seront nommes GEOM et PHOTO dans la suitede cet article. Le tableau (Table 1) montre un rsultat quiconfirme lamlioration (attendue) apporte par linterpo-lation dans le cas sans bruit.

    TABLE 1 Comparaison sans bruit et apport de linterpo-lation.

    Moy. (cm) std (cm)GEOM 0.63 0.32

    PHOTO sans interp. 1.98 1.83PHOTO avec interp. 0.41 0.18

    Nous avons ensuite effectu des exprimentations pourvaluer et comparer la mthode photomtrique et gom-

    FIGURE 4 Paire dimages utilise pour lvaluation de lamthode propose

  • trique en prsence de bruit. Deux types de bruit ont tconsidrs : un bruit, not wg , sur les coordonnes despoints images utilises pour la triangulation et un bruit,not wp, sur limage (les intensits de limage) avant ex-traction des points. La figure 5 montre le rsultat de la re-construction des points 3D avec : wg = 0 et wp = 5. Pourune meilleure lisibilit des rsultats, les points reconstruitsont t projets sur les plans XZ et Y Z. Les points recons-truits laide de la mthode photomtrique (en rouge) sontmoins disperss que ceux reconstruits par la reconstructiongomtrique (en bleu). Les points thoriques rpartis (envert) avec Z = 200, Z = 0, Z = 200.Ces rsultats ont t conforts par une valuation quantita-tive. Nous avons fait varier les deux paramtres de bruit wget wp pour tudier lerreur 3D i.e. lcart entre le point 3Destim et le point 3D thorique (Fig. 6). Sur cette figure,chaque graphe reprsente lvolution de lerreur de recons-truction 3D en fonction du bruit photomtrique wp pour unbruit gomtrique wg donn. Ces rsultats ont t obtenusavec un voisinage de taille gale 5 pixels. Chaque erreura t calcule en moyennant 100 mesures.

    On remarque que la reconstruction 3D faite par PHOTOest dans tous les cas meilleure par rapport GEOM et cecide manire trs prononce.

    Exprience 2 : Evaluation sur des images relles. Nousprsentons ici une comparaison avec les images relles et

    FIGURE 5 Reconstruction en prsence de bruit. En vert,la vrit terrain (points de synthse). En bleu, la recons-truction obtenue par GEOM . En rouge, la reconstructionobtenue par PHOTO.

    les donnes fournies par le VGG 1. La squence se com-pose de cinq images et on peut voir un extrait de quatreimages dans la figure 7.Ces donnes contiennent galement les points images misen correspondance, les matrices de projection et les points3D reconstruits. Ces points 3D vont servir pour la compa-raison et seront considrs comme tant la vrit terrain.La squence contient 1331 points.Chaque point 3D fait lobjet dune mise en correspon-dance entre au moins deux images parmi les cinq. La m-thode est utilisable avec autant dimages quon le souhaite.Dans lexemple de la squence de cinq images, trs peude points ont t mis en correspondance sur plus de deuximages. Pour des raisons dhomognisation des rsultats,nous avons volontairement limit deux le nombre de cor-respondances (deux images parmi les cinq de la squence)pour chaque point 3D.On peut voir sur la figure 8, une visualisation de la recons-truction 3D obtenue par PHOTO et les points 3D de lavrit terrain.La figure 9 prsente les carts entre les points 3D recons-truits en utilisant notre mthode et la vrit terrain, en fonc-tion des points.Pour comprendre les raisons de ces carts, nous avons ana-lys plus finement les points pour lesquels cet cart est su-prieur 0.3 (ce seuil permet davoir un nombre de pointsqui ne rend pas trop fastidieux la vrification manuelle). Letableau 2 prsente les numros de ces points et les valeursde ces carts. Sur les 16 points relevs :

    1. Lalgorithme PHOTO na pas amlior la recons-truction pour un point. Ceci est probablement d linsuffisance de la mthode dinterpolation.

    1. Visual Geometry Group - http ://www.robots.ox.ac.uk/ vgg/data/data-mview.html

    FIGURE 6 Evolution de lerreur en fonction du bruit wpdans limage (courbe en rouge pour PHOTO et courbeen bleu pour GEOM ). Les graphes correspondent suc-cessivement de haut en bas et de gauche vers la droite wg = 0, 0.2, 0.4, 0.6

  • FIGURE 7 Exemples dimages de la squence utilisepour la reconstruction

    FIGURE 8 Reconstructions 3D des points estims parPHOTO et les points vrit terrain. Vues projetes sur lesplans XZ et YZ et vues perspectives.

    2. Un point correspond un appariement vrit terrainaberrant comme on peut le voir sur la premire lignede la figure 10 (confusion due aux fentres) i.e. la po-sition 3D vrit terrain nest pas correcte.

    3. Trois points correspondent des situations o il esttrs difficile de dcider par insuffisance de texture.

    4. Onze points sont des points pour lesquels lapparie-ment est correct mais peu prcis. En effet, la figure 10montre un cas de lamlioration apporte par la m-thode PHOTO. Sur la partie basse de cette figure,

    FIGURE 9 Courbes des carts des points reconstruits parPHOTO pour T = 5.

    limage de gauche correspond limage I1 et celle dedroite I2. Sur toutes les images, les croix vertes in-diquent les positions vrit terrain et celles estimespar PHOTO sont rouges. On peut constater sur cettefigure que ces dernires correspondent une mise encorrespondance plus prcise. On remarque galementque le point u1 a subi une correction plus faible quele point u2, ce qui est normal puisque le point u1 sertde rfrence.

    TABLE 2 Points avec cart >0.3cm. O pour PHOTO aamlior la prcision. N pour le contraire. ? pour difficilede trancher.

    Num. Ecart (cm) Vrification87 0.32 N152 0.33 ?246 0.42 Vrit terrain aberrante341 0.34 O500 0.35 O524 0.74 O535 0.31 O606 0.47 O615 0.40 O670 0.45 ?672 0.37 O674 0.37 O833 0.38 O857 0.38 O863 0.44 O876 0.32 ?

    La figure 9 montre les carts obtenus avec un voisinagede taille T = 5 et la figure 11 ceux obtenus avec T =10. Laugmentation de la taille du voisinage amliore laprcision. En outre, elle amliore la convexit de la surfacede la fonction de cot, mais pnalise le temps de calcul.Enfin, lvaluation de la moyenne et de lcart type delerreur photomtrique (sur une chelle allant de 0 255 niveau de gris), confirme lavantage de la mthodephotomtrique comme le montre la table 3.

  • FIGURE 10 Ajustement de positions pixels. En rougecelles estimes par PHOTO et en vert celles de la v-rit terrain. Voisinage de taille 5. Les deux sous figures duhaut montrent le point 246 qui est aberrant. Les deux sousfigures du bas montrent lapport de PHOTO pour le point615.

    FIGURE 11 Courbes des carts des points reconstruits parPHOTO pour T = 10.

    TABLE 3 Rsidus photomtriques.Moy. (ndg) Ecart type (ndg)

    GEOM 9.1 5.8PHOTO 7.0 4.5

    Exprience 3 : Robustesse aux positions initiales.Lexprience suivante est destine valuer la robustessede notre approche linitialisation des positions despoints images dans I2. Pour cela, les positions u2 ont tperturbes avec un bruit gaussien de variance 5. La figure12 montre les rsultats de reconstruction 3D obtenus. Onpeut remarquer, contrairement GEOM , que lapprochepropose corrige les positions pixels et permet dobtenirune bonne reconstruction 3D. Il faut cependant soulignerque les corrections sont limites par la taille du voisinageutilis. Il va de soi que la distance de la position initiale de

    u2 ne peut tre suprieure T/2. La table 4 montre quelerreur rsiduelle photomtrique est plus importante dansle cas de GEOM alors que pour PHOTO, elle reste trsproche de celle obtenue avec des positions initiales trsfavorables.

    TABLE 4 Rsidus photomtriques (positions initialesbruites).

    Moy. (ndg) Ecart type (ndg)GEOM 15.6 10.3PHOTO 7.6 4.9

    FIGURE 12 Reconstructions 3D des points estims parPHOTO et les points reconstruits par GEOM directe-ment partir des points bruits.

    Exprience 4 : Symtrie et choix du point dancrage.Il sagit ici de quantifier la prcision de reconstructionen permutant le patch de rfrence. X1 est lensembledes points 3D reconstruits en utilisant I1 comme imagedes patchs de rfrence. X2 est lquivalent en utili-sant I2 comme base des patchs de rfrence. Linfluencede limage de rfrence est faible : Moy|X1 X2| =0, 0036cm. On peut considrer que la mthode est sym-trique. Cependant, cette mthode privilgie le point de r-frence dans le sens o elle considre que cest ce point quiest reconstruire.

    4 ConclusionLes algorithmes de triangulation bass exclusivement surles positions de points mis en correspondance peuvent se

  • rvler insuffisamment prcis. Ils ont cependant lavantagedtre trs rapides, mme dans leur version itrative. Nousavons propos un algorithme de triangulation prcise bassur lutilisation de linformation photomtrique qui entoureles pixels trianguler. Mme si cet algorithme a un cotplus important en temps de calcul, il amliore la prcisionet la robustesse au bruit, que ce soit pour du bruit gom-trique et/ou photomtrique. Les rsultats obtenus sur lesimages de synthse confirment cette amlioration. Nousavons galement montr lapport de cette approche sur desimages relles. Il faut aussi souligner que ces bons rsul-tats sont obtenus avec seulement deux correspondances parpoint, alors que les rsultats utiliss pour la comparaison(vrit terrain) ont t obtenus par ajustement de faisceauxsur lensemble de la squence. Enfin, la prcision et la ro-bustesse pourraient tre encore amliores en ayant recours dautres mthodes dinterpolation.

    Rfrences[1] Y. Furukawa and J. Ponce. Accurate, dense, and ro-

    bust multi-view stereopsis. IEEE Transactions onPattern Analysis and Machine Intelligence, 32(8),2010.

    [2] P. Georgel, S. Benhimane, and N. Navab. A unifiedapproach combining photometric and geometric in-formation for pose estimation. In 19th British Ma-chine Vision Conference (BMVC), Sep 2008.

    [3] A. Gruen and D. Akca. Least squares 3d surface mat-ching. In IAPRS, 34(5/W16), 2004.

    [4] A. W. Gruen. Adaptive least squares correlation :A powerful image matching technique. South Afri-can Journal of Photogrammetry, Remote Sensing andCartography, 14 :175187, 1985.

    [5] R. Hartley and P. Sturm. Triangulation. In ARPAImage Understanding Workshop, Monterey, Califor-nia, USA, pages 957966, Nov 1994.

    [6] R. Hartley and P. Sturm. Triangulation. In 6th Inter-national Conference on Computer Analysis of Imagesand Patterns, Prague, Czech Republic, pages 190197, Sep 1995.

    [7] R. Hartley and P. Sturm. Triangulation. Compu-ter Vision and Image Understanding, 68(2) :146157,1997.

    [8] R. I. Hartley and A. Zisserman. Multiple View Geo-metry in Computer Vision. Cambridge UniversityPress, ISBN : 0521623049, 2000.

    [9] K. Kanatani, Y. Sugaya, and H. Niitsuma. Triangu-lation from two views revisited : Hartley-sturm vs.optimal correction. In BMVC08, Proc. 9th BritishMachine Vision Conference, pages 173182, 2008.

    [10] Y. Kanazawa and K. Kanatani. Reliability of 3-d re-construction by stereo vision. IEICE Trans. Inf. andSyst. E78-D(10), pages 13011306, 1995.

    [11] K. Kenichi, S. Yasuyuki, and N. Hirotaka. Triangula-tion from two views : Hartley-sturm vs. optimal cor-rection. In 14th Symp. Sensing via Image Informa-tion, June 2008, Yokohama, Japan, 2008.

    [12] P. Lindstrom. Triangulation made easy. In TheTwenty-Third IEEE Conference on Computer Visionand Pattern Recognition, CVPR 2010, San Francisco,CA, USA, 13-18 June 2010, pages 15541561, 2010.

    [13] E. Malis. Improving vision-based control using effi-cient second-order minimization techniques. In Pro-ceedings of the 2004 IEEE International Conferenceon Robotics and Automation, ICRA 2004, April 26 -May 1, 2004, New Orleans, LA, USA, pages 18431848, 2004.

    [14] M. Shimizu and M. Okutomi. Sub-pixel estimationerror cancellation on area-based matching. Int. J.Comput. Vision, 63 :207224, July 2005.

    [15] R. Szeliski and D. Scharstein. Sampling the disparityspace image. IEEE Trans. Pattern Anal. Mach. Intell,26 :419425, 2004.