commande par asservissement visual

7/21/2019 commande par asservissement visual

1/14

traitement du signal 2005_volume 22_numro 5 Vision omnidirectionnelle 469

Asservissement visuel en vision omnidirectionnelle

partir de droites*

Visual Servoing from straight lines

H. Hadj Abdelkader1, Y. Mezouar1, P. Martinet1,F. Chaumette2

1LASMEA, 24 avenue des Landais, 63177 Aubire-France

hadj,mezouar,[email protected]/INRIA, Campus de Beaulieu, 35042 Rennes-France

[email protected]

Manuscrit reu le 24 janvier 2005

Rsum et mots cls

Dans cet article, nous prsentons une stratgie de commande de systmes robotiques en utilisant commeentres d'une boucle d'asservissement visuel des primitives relatives la projection de droites dans le planimage d'une camra panoramique point central unique. Afin de raliser la commande d'un systmerobotique par asservissement visuel, il est ncessaire d'estimer la matrice d'interaction liant les mouvementsde la camra aux mouvements des primitives visuelles dans l'image. Dans cet article, nous drivons la formeanalytique de la matrice d'interaction gnrique relative la projection de droites partir d'un modle de

projection englobant la classe entire des camras point central unique. Elle est ensuite utilise dans unschma d'asservissement visuel. Des simulations ainsi que des rsultats exprimentaux sur un robot mobilevalident l'approche propose.

Vision omnidirectionnelle, point central unique, asservissement visuel, droites.

Abstract and key words

In this paper we consider the problem of controlling a robotic system by using the projection of 3D straight lines in the

image plane of central catadioptric systems. Most of the effort in visual servoing are devoted to points, only few works

have investigated the use of lines in visual servoing with traditional cameras and none has explored the case of

omnidirectional cameras. First a generic central catadioptric interaction matrix for the projection of 3D straight lines isderived from the projection model of an entire class of camera. Then an image-based control law is designed and

validated through simulation results and real experiments with a mobile robot.

Omnidirectional camera, single view point, visual servoing, straight lines.

Remerciements

Ces travaux ont t financs en partie par le projet OMNIBOT de ROBEA: Robotique mobile et EntitsArtificielles.Nous remercions particulirement ric Marchand de l'IRISA/INRIA Rennes pour nous avoir fourni

l'algorithme de suivi de cercle dans les images omnidirectionnelles.

* Des rsultats prliminaires ont t publis dans les actes de IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS'2004, Sendai, Japon,Septembre 2004.


2/14

Introduction

La volont des chercheurs de reproduire les capacits humainesde perception et d'action dans les systmes robotiss a conduit

l'intgration de donnes issues de capteurs extroceptifs, et plusparticulirement de celles issues d'une camra [15]. L'objectifaffich est que les capteurs visuels fournissent une informationsuffisamment riche pour permettre aux robots de raliser, demanire autonome, des tches dans des environnements partiel-lement connus, ou compltement inconnus. D'un point de vuemthodologique, l'asservissement visuel consiste intgrerdirectement dans la boucle de commande des robots, des infor-mations extraites des images fournies par des camras afin deraliser l'action souhaite. En pratique, cela permet un largis-sement important du domaine d'application de la robotique, etune amlioration considrable de la prcision obtenue.

Les approches classiques sont bases sur la rgulation zro del'erreur entre les valeurs courante et dsire d'informationsvisuelles slectionnes, soit dans l'image (2-D) [8], soit dansl'espace 3-D [24]. Des informations de type 3-D et 2-D peuventgalement tre combines pour construire le signal d'erreur.Cette dernire approche, est appele asservissement visuelhybride ou asservissement visuel 2D1/2 [18]. Dans ces troisschmas, on suppose qu'il existe un lien entre les images initia-le, courante et dsire. En effet, ils requirent la mise en corres-pondance de primitives visuelles extraites de l'image initialeavec celles extraites de l'image dsire. Ces primitives sont

ensuite suivies lors du mouvement de la camra (et/ou de l'ob-jet). Si une de ces tapes choue, la tche robotique ne pourrapas tre ralise [9]. Par exemple, si il est impossible d'extrairedes primitives visuelles communes aux images initiale et dsi-re ou si les primitives visuelles sortent du champ de visiondurant le mouvement de la camra (et/ou de l'objet) alors latche ne pourra pas tre ralise. Quelques travaux se sont int-resss ces problmes. Les mthodes proposes sont bases surdes techniques de planification de trajectoires [21], de com-mande ractive [12], [10], d'ajustement du zoom [23] ou deconsidrations gomtriques et topologiques [11], [27].Cependant, de telles stratgies sont quelquefois difficiles mettre en uvre.Une autre solution ces problmes consiste accrotre le champde vision du capteur [5]. En effet, les camras conventionnellessouffrent de leur champ de vue restreint. De nombreuses appli-cations dans le domaine de la vision robotique, comme la loca-lisation de robot mobile [6], [20], et la navigation [29], peuventbnficier d'une vue panoramique de l'environnement fourniepar une camra omnidirectionnelle.Plusieurs stratgies ont t proposes afin d'accrotre le champde vision des capteurs de vision [5]. Une solution efficaceconsiste combiner des miroirs un systme de capture

d'images classique (systme catadioptrique). Afin de simplifierles traitements (d'un point de vue thorique et pratique), il estsouhaitable que ces systmes soient point central unique, c'est-

Asservissement visuel en vision omnidirectionnel partir de droites

-dire que les droites liant un point de l'espace et sa projectionsur le miroir passent toutes par un point unique appel pointcentral de projection. Sous cette contrainte, chaque pixel sur leplan image mesure la luminance du rayon qui passe par le pointcentral dans une direction particulire et connue. De tels cap-

teurs sont appels systmes catadioptriques centraux. Bakeret Nayar dans [2] ont dtermin la classe de tous les systmescatadioptriques centraux. Dans [2], il est montr qu'il existedeux types de combinaison miroir-lentille permettant la mise aupoint d'un systme catadioptrique central tout en augmentant lechamp de vision : camra orthographique-miroir parabolique etcamra perspective-miroir hyperbolique. Nous tudierons, danscet article, le cas o le capteur de vision est centre unique.Il est clair que les techniques d'asservissement visuel peuventgalement bnficier du champ de vue important fournie par detels capteurs afin de lever la contrainte de visibilit. La com-mande par retour visuel de robots manipulateurs, de robot mobi-

le ou de formation de robots mobiles a donc naturellement ttudie (se rfrer par exemple [4], [7], [22], [28]).La matrice d'interaction joue un rle central pour la synthsedes lois de commande. Elle lie les mouvements de la camraaux variations des primitives visuelles dans l'image catadiop-trique. F.Chaumette dans [8] a propos une mthode gnralepour le calcul de la matrice d'interaction pour toute informationvisuelle dfinissable partir de primitives gomtriques para-mtrables pour une camra ralisant une projection perspective.La forme analytique de la matrice d'interaction a rcemment tobtenue pour des primitives de type point dans le cas o le cap-

teur de vision est un systme catadioptrique central [4]. Cetarticle considre plus particulirement l'utilisation de primitivesvisuelles extraites de la projection de droites dans une boucle decommande. En effet, lorsque des environnements intrieurs,urbains ou industriels sont considrs, le choix des droitescomme primitive visuelle est naturel. Une grande majorit destravaux en asservissement visuel portent sur l'utilisation decoordonnes de points pour gnrer le signal d'erreur rguler[15]. Trs peu de travaux traitent le cas de la projection de droi-te (voir par exemple [1], [13], [16], [17]) et aucun ne dcrit leurutilisation dans une boucle de commande lorsque le capteur uti-lis est une camra omnidirectionnelle. Dans cet article, noustraitons ce dernier problme. Nous donnons la forme gnriquede la matrice d'interaction pour la projection de droites dansl'image de toute camra point central unique. Cette matriced'interaction est ensuite exploite pour construire des lois decommande pour des tches de positionnement d'un robot mani-pulateur six degrs de libert ou pour des tches de suivi dedroite pour un robot mobile.Cet article est organis de la manire suivante: dans la partie 1,aprs la description du modle utilis pour les capteurs de vision centre unique, nous tudions la projection de droites sur leplan image. Cela est ralis en utilisant le modle gnrique

propos dans [14]. Dans la partie 2, nous prsentons la loi decommande qui sera utilise pour le contrle des mouvements durobot. Nous drivons ensuite la forme analytique de la matrice

470 traitement du signal 2005_volume 22_numro 5 Vision omnidirectionnelle


3/14

d'interaction pour la projection de droites du modle de projec-tion gnrique, savoir des coniques. L'exemple d'une camraomnidirectionnelle combinant un miroir parabolique et unecamra orthographique est prsent. Les rsultats de simulationet exprimentaux sont prsents dans les parties 3 et 4.

1. ModlisationNous prsentons dans cette partie la modlisation d'une camra point central unique. Nous tudions ensuite le cas de la pro-jection d'une droite dans l'image.

1.1. Modle de projection

Comme voqu prcdemment, un centre de projection uniqueest une proprit intressante pour un capteur de vision. Celaimplique que les droites liant un point 3D de l'espace et sa pro-jection sur le miroir passent par un point 3D unique appel pointcentral de projection. Les camras perspectives conventionnellessont des capteurs centre unique. Baker et al. montrent dans [2]qu'un systme catadioptrique peut tre obtenu en combinant unmiroir hyperbolique, elliptique ou plan avec une camra pers-pective et un miroir parabolique avec une camra orthogra-phique. Afin de simplifier les notations, les camras perspectivesclassiques seront incluses dans l'ensemble des camras cata-

dioptriques point central unique. Geyer et al. dans [14] propo-sent un modle unifi de projection pour les camras panora-miques point central unique. D'aprs ce modle, toutes lescamras point central unique peuvent tre modlises par unepremire projection centrale sur une sphre suivi d'une secondeprojection perspective sur le plan image (voir Figure 1). Cemodle gnrique peut tre paramtris par un couple de rels(,) (voir Tab.1 et se rfrer [3]). Soit Fc et Fm des represattachs la camra conventionnelle et au miroir respective-ment. Dans la suite, on supposera que Fc et Fm sont lis par unetranslation le long de l'axe Z.

Les centres CetMde Fc et Fm seront appels centre optique etpoint principal respectivement. Soit X un point 3D de coordon-nes X = (X Y Z) dans Fm . D'aprs le modle gnrique deprojection propos dans [14], X est projet dans le plan image enun point point x = (x y 1) avec:

x = KMf(X) (1)

o K est une matrice triangulaire suprieure contenant les para-mtres de calibrage interne de la camra conventionnelle, et :

M=

0 0

0 00 0 1

, f(X)=X

Z

+

X2

+Y2

+Z2

Y

Z+

X2 + Y2 +Z21


Dans la suite, nous supposerons sans perte de gnralit, que lesmatrices K et M sont les matrices identits (ce qui impliquequ'une calibration du capteur, mme grossire, a t ralise).La fonction de projection dcrivant une projection par unecamra point centrale unique est alors donne par x = f(X).

1.2. Projection des droites

Afin de modliser leur projection dans l'image, nous utiliseronsles coordonnes de Plcker d'une droite (voir Figure 2). Soit Pun point 3-D,u = (ux ,uy,uz) un vecteur exprim dans le rep-re attach au miroir et L la droite 3-D dfinie par ce point et ce


Camra Surface du miroir

Parabolique z= x2+y22ap ap2 1 1+ 2p

Hyperbolique (z+ d2)

2

a2h

x2+y2b2

h

= 1 dd2+4p2

d+2pd2+4p2

Elliptique (z+ d2)

2

a2e+ x2+y2

b2e= 1 d

d2+4p2d2pd2+4p2

Plan z= d2 0 1Conventionnelle aucun 0 1

Tableau 1. Description des camras point

central unique: ap, ah, bh, ae, be dpendent uniquement

des paramtres intrinsques du miroir d et p.

X

4p

d

M

C

Fm

Fc

plan image

Figure 1. Modle gnrique de camra.


4/14

vecteur. Dfinissons n =MP uMP u

= (nx ,ny,nz) et notons

que ce vecteur est indpendant du point P choisi sur la droite.Alors les coordonnes de Plcker de la droite sont dfinies par:L : ( n , u ) avec

n =

1 et nTu=

0. Le vecteur n est

orthogonal au plan d'interprtation dfini par la droite 3-D etle point principal de projection:

X = (X,Y,Z) nxX+ nyY+ nzZ= 0 (2)

Soit S l'intersection du plan d'interprtation avec la surface dumiroir. S reprsente la projection de la droite sur la surface dumiroir. La projection S de L dans le plan image est ensuite

obtenue par projection perspective ou projection orthogra-

phique. On peut montrer (en utilisant (1) et (2) ou en se rfrant [3]) que les points 3D appartenant L sont projets en des

points dans l'image x vrifiant:

xTx = 0 (3)

avec:

=n2x nz 2 nx ny nx n1znx ny n2y nz 2 nyn1z

nx n1z nyn

1z n

z

o= 1 2,= 2 3 , = 2 dans le cas gnral et = 1pour la combinaison d'un miroir parabolique et d'une camra

orthographique. Une droite de l'espace est donc projete sur leplan image en une conique. La relation (3) dfinit une formequadratique:

A0x2 +A1y2 + 2A2xy + 2A3x + 2A4y +A5= 0 (4)

avec:

A0= n2x nz 2 A1= n2y nz 2 A2= nx nyA3= nx n1z A4= nyn1z A5= nz

(5)

On peut noter que l'quation (4) est dfinie un facteur multi-plicatif prs. Afin d'obtenir une reprsentation sans ambigut,l'quation (4) peut tre normalise parA5. La forme quadratique(4) s'crit alors:

B0x2 +B1y2 + 2B2xy + 2B3x + 2B4y + 1 = 0 (6)

avec Bi=Ai

A5. Les cas oA5= nz= 0 correspondent des

configurations dgnres pour cette reprsentation. Dans cescas, l'axe optique de la camra appartient au plan d'interprta-tion.Une droite de l'espace est alors projete en une droite dans

l'image. Dans la suite, nous considrons que nz= 0. Notonsgalement que la normale n au plan d'interprtation peut trecalcule partir de (5) en effet, comme n = 1, on a:


nz= (B23+B24

2 + 1)1/2 = Bn

nx=B3Bn

ny= B4Bn

(7)

De plus, comme nu = 0, uz peut tre rcrit de la faon sui-vante:

uz= B3ux+B4uy

= Bu (8)


M

C

Fm

Fc

nP

Li u

plan image

Plan dinterprtation

Figure 2. Projection d'une droite en une conique

dans le plan image.

2. Matrice d'interactiondes camras pointcentral uniquepour les coniques

2.1. Loi de commande

Considrons le vecteur s = (s1,s2, sn) contenant les observa-tions visuelles si (vecteur de dimension m) utilises commeentres du schma de commande par asservissement visuel. Si


5/14

les primitives 3-D correspondant aux informations visuelles

sont statiques, la drive temporelle de si est:

si=si

r

dr

dt= JiT

o T est un vecteur de dimension 6 reprsentant le torseurcinmatique de la camra,r reprsente la pose de la camradans un repre qui lui est associ. Le vecteur T contient la vites-se instantane de rotation et la vitesse linaire instantane vd'un point 3-D exprimdans le repre de la camra. La matriceJi de dimension m 6 est la matrice d'interaction. Elle lie lesvariations temporelles des informations visuelles au torseur

cinmatique de la camra. Si on considre la drive temporel-le de s, la matrice d'interaction correspondante est

J = (Ji , ,Jn)

et

s = JT

Afin de construire une loi de commande rfrence image, nousutilisons le formalisme des fonctions de tche introduit parSamson et al. dans [26]. Considrons la fonction de tche

e =J+(s s)rguler zro (s reprsente la valeur dsire du vecteur d'ob-servation s et J+ est la pseudo-inverse d'un modle choisi pourJ). Une loi de commande trs simple consiste assurer unedcroissance exponentielle dcouple de la fonction de tche:

T = e = J+(s s) (9)Afin de calculer la commande (9), il est ncessaire de fournirune approximation de la matrice d'interaction J . Dans la suite,la forme analytique de la matrice d'interaction pour toutes les

camras point central unique est obtenue partir du modle deprojection des droites.

2.2. Matrice d'interaction gnrique

Dfinissons en premier lieu le vecteur contenant les informa-tions visuelles si pour la projection d'une droite (conique) dans

l'image d'une camra point central unique:

si= (B0, B1, B2, B3, B4) (10)

et le vecteur contenant les observations visuelles pour n

coniques par s = (s1, ,sn). Comme nous le verrons dans lasuite,s

=(s1

sn) peut tre rduit pour certaines camras

centre de projection unique (par exemple dans le cas de la com-

binaison miroir parabolique-camra orthographique). Commeon a :


s = sir

dr

dt = si

ni

ni

r

dr

dt = Jsni Jni T (11)

on obtient Ji= Jsni Jni oJsni=si

niet oJni est la matrice

d'interaction associe au vecteur normal au plan d'interprtation

ni= (nxi ,nyi ,nzi ) relatif la droite Li exprimdans le repreattachau miroir. Notons que si ne dpend pas explicitement du

vecteur ui, ce qui implique quesi

ui. Jsni reprsente l'interac-

tion entre le mouvement des observations visuelles et les varia-

tions du vecteur normal, et Jni lie les variations du vecteur nor-

mal aux dplacements de la camra. D'autre part, on peut mon-trer que [25, 1]:

ni= Jni T =vni

h(ui ni ) ni

oh= MP u. D'aprs la relation prcdente, l'interactionentre le vecteur normal et le dplacement de la camra est

donc:

Jni= 1

h(ui ni )ni [ni ]

= 1

h[ui ]nini [ni ]

(12)o[n] reprsente la matrice antisymtrique associe au vec-teur n. Le Jacobien Jsni est obtenu en calculant la drive par-tielle de (10) par rapport ni et en utilisant (7) :

Jsni=1

Bn

2B3Bn 0

B23Bn

0 2B4Bn

B24Bn

B4Bn B3Bn

B3B4Bn

2B1n 0 B3B1n

0 2B1n B4B1n

(13)

La matrice d'interaction peut finalement tre calcule en combi-nant les quations (12}) et (13) dans la relation (11). Notons quele rang de la matrice d'interaction donne par (11) est de 2. Aumoins trois droites sont donc ncessaires pour contrler les sixdegrs de libertd'un robot manipulateur. Comme on peut levoir dans les quations (12) et (7), seuls les paramtres 3D ux etuy sont introduire dans la matrice d'interaction (comme danstous les cas lorsque des informations visuelles sont utilisesdans un asservissement visuel rfrencimage). Ces paramtresagissent uniquement sur le contrle des mouvements de transla-tion. Comme indiqu prcdemment, une estimation de lamatrice d'interaction est utilise pour la construction de la loi decommande. Un choix typique est de prendre la valeur de J laposition dsire. Dans ce cas les paramtres 3-D doivent tre

estims uniquement pour la position dsire. Dans la partie sui-vante, nous tudions le cas particulier des camras paracata-dioptriques (miroir parabolique combin une camra ortho-graphique).



6/14

2.3. Le cas des camras paracatadioptriques

Dans le cas des camras paracatadioptriques, nous avons = 1,= 1 ,= 0 et = 1. Une droite est projete en un cercle.Il peut tre notque dans ce cas A2= 0 etA0= A1= A5 . Levecteur contenant les observations visuelles peut donc trerduit si= (B3,B4). Notons galement qu'une droite est pro-jete en un cercle de centre:

xc= B3;yc= B4 (14)

et de rayon:

r= 1Bn

= (B23+B24+ 1)1/2 (15)

Minimiser la fonction de tche e peut donc tre interprtcomme minimiser la distance entre les positions courante et

dsire du centre des cercles en dplaant la camra. D'aprsl'quation (13), le jacobien Jsni peut tre rduit comme suit :

Jsni= 1

Bn

1 0 B3

0 1 B4

= r

1 0 xc

0 1 yc

(16)

D'autre part, on a (se rfrer aux relations (7)):

nz= Bn=1

r

nx=

B3

r = xc

r

ny= B4

r= yc

r

(17)

et donc (en utilisant la relation (12)) :

Jni=

Uih Ni0 1

r yc

r

1

r0

xc

r

yc

r xc

r0

(18)

avec:

Uih=1

h[u] , Ni=

xcr

2 xcycr2

xcr2

xcyc

r2

ycr

2 yc

r2

xcr2

ycr2

1

r

2

En combinant les quation (8), (16) et (18), la matrice d'inter-action pour une camra paracatadioptrique est donc :

Ji=

r

hxcuy

r

hycuy

r

h uy xcyc 1+x

2c yc

rhxcux

r

hycux

r

hux (1+y2c ) xcyc xc

(19)


Comme dans le cas gnral, le rang de la matrice d'interactionest 2. Les six degrs de libertd'un robot manipulateur peuventtre totalement contrles en utilisant trois projections dedroites tant que ces trois droites dfinissent trois plans d'inter-prtation diffrents.

3. Rsultats de simulationDans cette partie, nous prsentons des rsultats de simulationd'asservissement visuel avec des camras point central uniqueen utilisant la projection de droites. Dans les premires simula-tions, nous avons considrdeux tches de positionnement d'unrobot manipulateur six degrs de libert. La dernire simula-tion concerne une tche de suivi de droite pour un robot mobile.

3.1. Tches de positionnement

La valeur de J estime la position dsire a tutilise. Deuxtches de positionnement ont t considres. partir d'uneposition initiale, le robot doit rejoindre une position dsireconnue sous la forme d'un vecteur d'informations visuelles. La

premire simulation concerne un capteur de vision combinantun miroir hyperbolique et une camra perspective (Figures 5, 6et 4). Dans ce cas, le vecteur d'informations visuel complet est

utilis(se rfrer la partie 2.2). La seconde simulation concer-

ne un capteur combinant un miroir parabolique et une camraorthographique (Figures 7, 8 et 9). La pose initiale de la cam-ra par rapport au repre Fm est donne parri= (0, 0, 1, 0, 0, 0) (les trois premires composantesreprsentent les translations et sont donnes en mtre et les troisdernires composantes reprsentent les rotations et sont don-nes en radian). L'image dsire correspond l'attitude de la


Figure 3. Configuration des droites dans l'espace [mtres].


7/14



Figure 4. Miroir hyperbolique camra perspective:s s : (a) Erreurs sur la premire conique,(b) Erreurs sur la seconde conique, (c) Erreurs sur la troisime conique.

Figure 5. Miroir hyperbolique camra perspective: (a) image initiale, (b) image dsire,

(c) trajectoires de la projection des droites dans le plan image [pixels].


8/14



Figure 6. Miroir hyperbolique camra perspective: (a) Vitesses de translation [m/s] et (b) vitesses de rotation [rad/s].

Figure 7. Miroir parabolique camra orthographique: (a) image initiale, (b) image dsire,

(c) trajectoires de la projection des droites dans le plan image [pixels].


9/14

camra donne par rd= (0.1, 0.1, 1.1,

8 ,

8 ,

8 )

dans Fm . Les trois droites 3-D considres sont dfinies par lescoordonnes de Plcker dans le repre Fm suivantes:

L1 :

u1= (0 ,1 ,0)n1= (0 ,0 ,1)

L2 :

u2= (0 ,0.9806 ,0.1961)n2= (0 ,0.1961 ,0.9806)

L3 :

u3= (0.9623 ,0.1925 ,0.1925)n3= (0.1961 ,0 ,0.9806)

La Figure 3 donne la configuration spatiale initiale des droites

et de la camra. Un bruit sur les mesures a tintroduit (bruitadditif avec une amplitude maximale de 1 pixel) sur le vecteur

d'observation. Une erreur d'amplitude maximale de 5 % sur les

coordonnes de Plcker dans le repre monde des trois droites


considres a galement tintroduite (ces erreurs agissent surl'estimation de la matrice d'interaction la position dsire). Lesimages correspondant aux positions initiale et dsire de lacamra sont donnes par les Figures 5(a) et 5(b) pour la combi-

naison miroir hyperbolique camra perspective et par lesFigures 7(a) et 7(b) pour la combinaison miroir parabolique camra orthographique. Les Figures 5(c) et 7(c) donnent les tra-jectoires des coniques dans le plan image lors du dplacementde la camra. Le torseur cinmatique de la camra est donnparles Figures 6 et 8. On note sur ces figures que le torseur cin-matique s'annule (au bruit de mesure prs) autour de l'itration800 ce qui correspond la convergence de la fonction de tche.Par ailleurs, on remarque un couplage entre les diffrents degrsde libert. Comme on peut le constater sur les Figures 4 et 9montrant les erreurs entre les vecteurs d'observations courant et

dsir, la tche de positionnement a t ralise correctementaussi bien dans le cas de la combinaison miroir hyperbolique camra perspective que dans le cas de la combinaison miroirparabolique-camra orthographique.


Figure 8. Miroir parabolique camra orthographique: (a) Vitesses de translation [m/s] et (b) vitesses de rotation [rad/s].

Figure 9. Miroir parabolique camra orthographique:s s : (a) Erreurs sur la premire conique,(b) Erreurs sur la seconde conique, (c) Erreurs sur la troisime conique.


10/14

3.2. Suivi de ligne par un robot mobile

L'asservissement visuel avec des capteurs point central uniqueet des primitives visuelles relatives la projection de droite 3-Dpeut galement tre utilispour le suivi de trajectoire pour un

robot mobile. Dans ce rsultat de simulation, l'cart angulaire d'un robot mobile par rapport une droite parallle au pland'volution du robot est rgulune valeur dsire (voir Figure10). Dans ce cas, un seul degrde libertdoit tre contrletdonc une seule primitive visuelle extraite de l'image est suffi-

sante. Le repre attachla camra est supposconfondu avecle repre de commande du robot mobile. Dans ce cas, le reprecamra et le robot mobile sont contraints par la mme cinma-tique. Le torseur cinmatique est composd'une vitesse longi-tudinale le long de l'axe x et d'une vitesse angulaire autour de

l'axe optique. Pour amener le robot paralllement la droite 3-D (voir Figure 11(d)), la vitesse longitudinale peut tre choisieconstante et seule l'cart angulaire (la rotation autour de l'axez)doit tre commande. Comme indiquprcdemment, une droi-te est projete dans le plan image en un cercle de centrexc= B3 , yc= B4 et de rayon r= (B23+B24+ 1)1/2 . On peutnoter que le rayon rne varie pas si la camra tourne autour del'axe z du repre camra (en effet la composante relative larotation autour de l'axez de la matrice d'interaction associe rest nulle). D'autre part, la direction de la droite 3D de rfrence,dans le repre attachau miroir peut s'crire:

u = cos

sin 0

La relation prcdente permet de dfinir le vecteur u commeune fonction de l'cart angulaire . Ce vecteur est donc ind-pendant de l'cart latraley par rapport la droite de rfrence.Le vecteur n = MP u = [nx ny nz]T est indpendant dupoint P, il peut donc \^etre choisi de coordonnesP= [y sin y cos h]T dans le repre associ au miroir (hreprsente la hauteur de la droite par rapport au plan X Ydurepre associau miroir). Le vecteur normal au plan d'interpr-tation n est alors donnpar :

n =

h sin h cos

y

(20)L'cart angulaire peut facilement s'exprimer en fonction du vec-teur d'observation en combinant les quations (20) et (7):

tan = B3B4

, soit:

= tan1 B3B4

= tan1 xcyc

(21)

B4 est nul seulement si l'axe Xdu repre Fm est perpendiculai-

re la droite 3D (i.e.= 2

[]). Si, on choisit s= tan1 xcyc


comme primitive visuelle afin de rguler l'cart latral, la matri-ce d'interaction associe s est naturellement donne parJ= 1. La loi de commande (9) peut alors tre utilise.Les images correspondant aux positions initiale et dsire de lacamra sont donnes par les Figures 11(a) et 11(b). La Figure11(c) donne les trajectoires du cercle dans le plan image. La

vitesse angulaire est donne par la Figure 12(b). Comme onpeut le constater sur la Figure 12(a) indiquant les erreurs entre

les observations courante et dsire la tche est correctementralise.

4. Rsultatsexprimentaux

Nous prsentons dans cette partie les rsultats exprimentauxpour le suivi de droite par un robot mobile sur lequel est montune camra paracatadioptrique. Le systme robot-camra estcomposd'un robot mobile Pioneer 3 et d'une camra paracata-

dioptrique. La camra est monte sur le robot de manire ceque l'axe de rotation du robot et l'axe principale de la camrasoient approximativement confondus (voir Figure 13). La tcheconsiste amener le robot paralllement une droite 3-D. La


h

X

Z

Y

cart angulaire

cart latral y

Droite

derfrenc

e

Traj

ectoire

suivie

Figure 10. Configurations initiale et dsire du robot mobile.


11/14



Figure 11. (a) Image initiale [pixels], (b) Image dsire [pixels], (c) trajectoire du robot [mtres],

(d) trajectoires de la projection des droites dans le plan image [pixels].

vitesse longitudinale du robot est fixe constante, et seule lavitesse angulaire est contrle.Comme indiqu dans la simulation prcdente, le centre ducercle (xc, yc) issu de la projection de la droite 3-D est utiliscomme primitive visuelle sous la forme donne par la relation(21) dans la boucle d'asservissement visuel. La loi de comman-

de (9) est utilise. La droite 3D de rfrence par rapport laquelle nous souhaitons positionner le robot mobile est indi-

que sur la figure 13. Le cercle dans l'image correspondant laprojection de la droite de rfrence est suivie au cours du dpla-cement de la camra en utilisant un algorithme fourni par le pro-jet LAGADIC de l'IRISA Rennes [19].Les images correspondant aux positions initiale et dsire sont

respectivement donnes par les Figures 14(a) et 14(b). La vites-se angulaire est donne par la Figure 15(b). Comme on peut leconstater sur la Figure 15(a), l'erreur entre les mesures dans les

images courante et dsire converge vers zro et la tche d'ali-

gnement par rapport la droite de rfrence est correctementralise. Notons galement que l'alignement entre les represrobot et camra est ralisde manire trs approximative sanspour autant que cela perturbe la convergence de la fonction de

tche.

5. ConclusionsLa contrainte de visibilitest extrmement importante pour lesapplications dans le domaine de l'asservissement visuel. Afin de

lever cette contrainte, le champ de vision panoramique des

camras catadioptriques centre unique peut tre exploit. Danscet article, nous avons considr le problme de commanderfrence image d'un systme robotique en incorporant desinformations issues de la projection de droites 3-D dans le plan


12/14



Figure 12. (a) Erreur dans l'image s s [pixels], (b) vitesse de rotation [rad/s].

Figure 13. Robot mobile Pioneer 3

avec camra omnidirectionnelle embarque.

Figure 14. (a) Image initiale (position initiale de la projection de la droite de rfrence en vert),

(b) image dsire (positions initiale et dsire de la projection de la droite de rfrence en vert et rouge respectivement).


13/14

image de toute camra point centrale unique. Une matriced'interaction gnrique qui peut tre utilise pour la construc-tion de loi de commande, a tobtenue. Nous poursuivons cestravaux d'une part par l'tude de stratgies de planification detrajectoire de primitives visuelles dans les images panora-

miques. D'autre part nous tudions l'intgration des contraintescinmatiques des robots mobiles roue (non holonomie) dans lacommande. Enfin, l'tude de la stabilitdu systme en prsence

de bruit de mesure et d'erreur de modlisation est un point tho-rique important que nous souhaitons analyser.

Rfrences[1] N. ANDREFF, B. ESPIAU et R. HORAUD, Visual servoing from

lines.Int. Journal of Robotics Research, 21(8):679-700, Aot 2002.[2] S. BAKER et S. K. NAYAR, A theory of single-viewpoint catadiop-

tric image formation. Int. Journal of Computer Vision, 35(2):1-22,

Novembre 1999.

[3] J. BARRETO et H. ARAUJO, Geometric properties of central cata-

dioptric line images. Dans 7th European Conf. on Computer Vision,

ECCV'02, pages 237-251, Copenhagen, Danemark, Mai 2002.

[4] J. P. BARRETO, F. MARTIN et R. HORAUD, Visual servoing/trac-

king using central catadioptric images. Dans 8th Int. Symp. on

Experimental Robotics, ISER'02, pages 863-869, Bombay, Inde,

Jullet 2002.

[5] R. BENOSMAN et S. KANG, Panoramic Vision. Springer Verlag,

2000.

[6] P. BLAER et P.K. ALLEN, Topological mobile robot localization

using fast vision techniques. Dans IEEE Int. Conf. on Robotics and

Automation, ICRA'02, pages 1031-1036, Washington, USA, Mai

2002.

[7] D. BURSHKA, J. GEIMAN et G. HAGER, Optimal landmark confi-

guration for vision based control of mobile robot. Dans IEEE Int.

Conf. on Robotics and Automation, ICRA'03, pages 3917-3922, Tapei,Taiwan, Septembre 2003.

[8] F. CHAUMETTE, La relation vision commande: thorie et applica-tion des tches robotiques. Thse de l'Universit de Rennes I,France, 1990.


[9] F. CHAUMETTE, Potential problems of stability and convergence in

image-based and position-based visual servoing. The Confluence of

Vision and Control, LNCIS Series, Springer Verlag, 237:66-78, 1998.

[10] G. CHESI, K. HASHIMOTO, D. PRATTICHIZZO et A. VICINO,

A switching control law for keeping features in the field of view in

eye-in-hand visual servoing. Dans IEEE Int. Conf. on Robotics and

Automation, ICRA'03, pages 3929-3934, Taipei, Taiwan, Septembre

2003.

[11] N. J. COWAN, J. D. WEINGARTEN et D. E. KODITSCHEK,Visual

servoing via navigation functions. IEEE Trans. on Robotics and

Automation, 18(4):521-533, August 2002.

[12] P. CORKE et S. HUTCHINSON, A new partioned approach to

image-based visual servo control. IEEE Trans. on Robotics and

Automation, 17(4): 507-515, Aot 2001.[13] B. ESPIAU, F. CHAUMETTE et P. RIVES, A new approach to visual

servoing in robotics. IEEE Trans. on Robotics and Automation,

8(3):313-326, Juin 1992.

[14] C. GEYER et K. DANIILIDIS, A unifying theory for central panora-

mic systems and practical implications. Dans European Conf. on

Computer Vision, ECCV'00, volume 29, pages 159-179, Dublin,

Irelande, Mai 2000.

[15] S. HUTCHINSON, G.D. HAGER et P.I. CORKE,A tutorial on visual

servo control.IEEE Trans. on Robotics and Automation, 12(5):651-

670, Octobre 1996.

[16] D. KHADRAOUI, C. DEBAIN, R. ROUVEURE, P. MARTINET,

P. BONTON et J. GALLICE, Vision based control in driving assis-

tance for agrigultural vehicules. International Journal of Robotics

Research, 17(10):1040-1054, Octobre 1998.

[17] E. MALIS, J. BORRELLY et P. RIVES, Intrinsics-free visual servoing

with respect to straight lines. DansIEEE/RSJ Int. Conf. on Intelligent

Robots Systems, IROS'02, Lausanne, Switzerland, Octobre 2002.

[18] E. MALIS, F. CHAUMETTE et S. BOUDET, 2 1/2 d visual servoing.

IEEE Trans. on Robotics and Automation, 15(2):238-250,Avril 1999.

[19] E. MARCHAND, ViSP: A software environment for eye-in-hand

visual servoing. Dans IEEE Int. Conf. on Robotics and Automation,

ICRA'99, volume 3, pages 3224-3229, Dtroit, Michigan, Mai 1999.[20] B. MARHIC, E. MOUADDIB, D. FOFI et E. BRASSART,

Localisation absolue par le capteur omnidirectionnel SYCLOP.

Traitement du Signal, Vol. 17, N3, 2000.[21] Y. MEZOUAR et F. CHAUMETTE, Path planning for robust image-

based control.IEEE Trans. on Robotics and Automation, 18(4):534-549, Aot 2002.

[22] A. PAULINO et H. ARAUJO, Multiple robots in geometric forma-

tion: Control structure and sensing. Dans Int. Symp. on Intelligent

Robotic Systems, pages 103-112, Reading, UK, Juillet 2000.


Figure 15. (a) Erreur dans l'image s s [pixels], (b) vitesse de rotation [deg/s].

(a) (b)


14/14

[23] E. MALIS, S. BENHIMANE, Vision-based control with respect to

planar and non-planar objects using a zooming camera. Dans IEEE

Int. Conf. on Advanced Robotics, ICAR'04, pages 863-869, Juillet

2003.

[24] P. MARTINET et J. GALLICE, Position-based visual servoing using

a nonlinear approach. Dans IEEE/RSJ International Conference on

Intelligent Robots and Systems, IROS'99, pages 531-536, Kyongju,

Core du Sud, Octobre 1999.[25] P. RIVES et B. ESPIAU, Estimation recursive de primitives 3D au

moyen d'une camra mobile. Traitement du Signal, Vol. 4, pages 259-272, 1987.

[26] C. SAMSON, B. ESPIAU, et M. LE BORGNE,Robot Control : The

Task Function Approach. Oxford University Press, 1991.


[27] B. THUILOT, P. MARTINET, L. CORDESSES, et J. GALLICE,

Position-based visual servoing: keeping the object in the field of

vision. Dans IEEE Int. Conference on Robotics and Automation,

ICRA'02, pages 1624-1629, Washington DC, USA, Mai 2002.

[28] R. VIDAL, O. SHAKERNIA et S. SASTRY, Formation control of

nonholonomic mobile robots with omnidirectional visual servoing

and motion segmentation. Dans IEEE Int. Conf. on Robotics and

Automation, ICRA'03, Taipei, Taiwan, Septembre 2003.[29] N. WINTER, J. GASPAR, G. LACEY, et J. SANTOS-VICTOR,

Omnidirectional vision for robot navigation. DansIEEE Workshop on

Omnidirectional Vision, OMNIVIS'00, pages 21-28, South Carolina,

USA, Juin 2000.

Youcef Mezouar est n Drany en 1973. Aprs un diplme d'ingnieur du

CUST obtenu Clermont-Ferrand en 1997, il a soutenu l'Universit de Rennes

1 une thse en informatique en 2001. Il a ensuite effectu un sjour post-docto-

ral d'un an Columbia University, New-York, USA. Il est actuellement Matre de

confrences l'Universit Blaise Pascal de Clermont-ferrand. Ces travaux de

recherches au LASMEA, UMR6602, CNRS / Universit Blaise Pascal, portent

sur la robotique et la vision par ordinateur, et plus particulirement sur le cou-

plage entre vision et commande.

Youcef Mezouar

Philippe Martinet est n Clermont-Ferrand en 1962. Aprs un diplme d'ing-

nieur en lectronique du CUST obtenu Clermont-Ferrand en 1985, il a soute-

nu l'Universit Blaise Pascal de Clermont-Ferrand une thse en lectronique

en 1987.

Il a pass trois ans dans l'industrie de l'lectronique. De 1990 2000, Il a t

Matre de confrences au CUST, Universit Blaise Pascal de Clermont-Ferrand.

Depuis 2000, il est professeur l'IFMA (Institut Franais de Mcanique Avance)

Clermont-Ferrand.

Ses travaux de recherche portent sur l'asservissement visuel, la vision active, la

commande robuste, la conduite automatique de vhicule, la modlisation, l'iden-

tification et la commande des machines complexes.

Il est responsable du groupe de recherche GRAVIR au sein du LASMEA

Clermont-Ferrand.

Philippe Martinet

Hicham Hadj-Abdelkader a obtenu son DEA Composants et Systmes pour le

Traitement d'Information en 2003 l'Universit Blaise Pascal, Clermont-ferrand.

Il est actuellement doctorant en deuxime anne au laboratoire LASMEA UMR

6602 CNRS Clermont-ferrand sous la direction de Philippe MARTINET

(Professeur l'Institut Franais de Mcanique Avance, Clermont-Ferrand) et

Youcef MEZOUAR (Matre de confrences l'UBP Clermont-ferrand). Ses tra-

vaux concernent la commande des robots par vision omnidirectionnelle.

Hicham Hadj-Abdelkader

Franois Chaumette est n Nantes en 1963. Aprs un diplme d'ingnieur de

l'ENSM obtenu Nantes en 1987, il a soutenu l'Universit de Rennes 1 une

thse en informatique en 1990, puis une habilitation diriger des recherches en

1998. Chercheur l'Irisa de Rennes depuis sa thse, il est actuellement direc-

teur de recherches Inria et responsable de l'quipe Lagadic. Sa thmatique de

recherche porte sur la robotique et la vision par ordinateur, plus particulirement

sur l'asservissement visuel.

Franois Chaumette

Documents

commande par asservissement visual