Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Julien Morat 1er Juillet 2008 Renault / INRIA1er Juillet 2008 INRIA / Renault

Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile

Présenté par Julien Moratpour obtenir le grade de DOCTEUR DE L’INPG

Président du jury : J. CrowleyRapporteurs : D. Aubert

J-M. LavestExaminateurs : F. Devernay

S. Cornou R. Horaud

Julien Morat 1er Juillet 2008 Renault / INRIA 2

LE CONTEXTE

Centre de recherche et développement Renault : ~12 000 personnes

Direction de la recherche : ~ 120 personnes

Electronique pour l’aide à la conduite : ~ 20 personnes

LE CENTRE DE RECHERCHE ET DÉVELOPPEMENT DE RENAULT


LA PROBLÉMATIQUELES DIFFÉRENTES PRESTATIONS D’AIDE À LA CONDUITE

http

://w

ww

.gav

rila.

net/M

edia

_Cov

erag

e/m

edia

_cov

erag

e.ht

ml

http

://w

ww

.mob

ileye

.com

/upl

oade

d/A

WS

clip

s/2C

ritic

alS

econ

ds.2

2MB

.mpg

[GBS05] Gavrila et al

Des prestations intelligentes pour améliorer la sécurité et le confort Régulateur de distance (ACC)

Détection de franchissement de marquage routier (Lane Keeping Assist)

Détection anticipée de collision (Collision Warning ou Precrash)


LA PROBLÉMATIQUE

Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …

Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar

LES BESOINS


LA PROBLÉMATIQUE

Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …

Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar Caméra

LES BESOINS

Caméra• Semble avoir des performances similaires• Coût attractif• Peut remplacer plusieurs capteurs


LA PROBLÉMATIQUE

L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques.

Identifier ces problèmes et les solutions possibles Application exemple : régulateur de distance (ACC)

Trois fonctions primordiales : Le calibrage La détection d’obstacles La mesure de vitesse relative

LES OBJECTIFS DE LA THÈSE

Julien Morat 1er Juillet 2008 Renault / INRIA

PLAN DE LA PRÉSENTATION

Modèles mathématiquesI. CalibrageII. Détection d’obstaclesIII. Mesure de vitesse 3-D Conclusions


caméra

MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA

Centre optique

Plan image

Un objet 3-D



Objet projeté

Ligne

de vu

e

rayon

optiq

ue

Plan image

Un objet 3-D

Centre optique





connuinconnu


inconnuconnu

MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D

?


MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D

inconnuconnus


I. CALIBRAGE1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué


CALIBRAGE

Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.

OBJECTIF


I. CALIBRAGE1. OBJECTIF ET PRINCIPE

≠


connu


Connaître la fonction de projection P

• Distance focale• Taille des pixels• Nombre de pixels• Distorsions• …

inconnu

connu


connu

I. CALIBRAGE

Points 3-D connus : une mire

1. OBJECTIF ET PRINCIPE


I. CALIBRAGE

Acquisition d’images de la mire avec le système



I. CALIBRAGE

Extraction des marques fiduciaires


connuconnu


inconnu

connu


Estimation par optimisation des paramètres p

connuconnu


I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué

2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE


I. CALIBRAGE

Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance

(soit 5% de la distance)

Le système doit être conçu pour atteindre ces performances.

La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.



I. CALIBRAGE

Exemple d’un mauvais calibrage



I. CALIBRAGE2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE

Exemple d’un mauvais calibrage


I. CALIBRAGE

Différence entre le point 3-D réel et estimé : Dénommée « erreur de reconstruction » Se mesure en mètres Du point du vue du constructeur,

c’est le critère essentiel de qualitédu système



I. CALIBRAGE

Différence entre les points 2-D observés et les projections du point reconstruit Dénommée « erreur de reprojection » Se mesure en pixels Minimiser cette différence est

important pour les algorithmes



I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision

A. Respect du modèleB. Qualité du calibrageC. Variation de la géométrie du capteur au cours du temps

4. Quantifier la qualité du système embarqué

3. LES SOURCES D’IMPRÉCISION


3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE

Caméra

Centre optique


Caméra

3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE

Pare-brise

?Respect du modèle1


I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE






I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS


I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS

Variation des paramètres5


I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué

A. Respect du modèleB. Le calibrageC. Au cours du temps

4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ


I. CALIBRAGE

Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance)

L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.

4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ


I. CALIBRAGE

Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec Srikumar Ramalingam et Peter Sturm)

Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.

4.A. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : RESPECT DU MODÈLE


I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécisions4. Quantifier la qualité du système embarqué


4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE


I. CALIBRAGE

La qualité du système dépend de : La configuration du système La mire Les algorithmes de calibrage Les erreurs de détection de la mire Les imperfections de construction de la mire …

Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : Système complexe rendant la modélisation analytique difficile, Permet de tester de nombreuses configurations.

4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE


I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE

CALIBRAGEsimulation

1. Mire



CALIBRAGEsimulation

1. Mire2. Erreurs de

fabrication



CALIBRAGEsimulation


fabrication3. Projection

Paramètresréels



CALIBRAGEsimulation


fabrication3. Projection4. Erreurs de

détection



CALIBRAGEsimulation



détection5. Calibragecalibrage

Paramètres calibrés



CALIBRAGEsimulation



détection5. Calibrage6. Echantillonnage

de la scène + Projection

calibrage

Paramètresréels



CALIBRAGEsimulation





7. Reconstruction

calibrage

Paramètres calibrés



CALIBRAGEsimulation





7. Reconstruction8. Evaluation des

erreurs de : reconstructionreprojection

calibrage



CALIBRAGE Cette méthode par simulation

permet de tester : les différents algorithmes, les différentes configurations de système et les différentes mires

Outil d’aide à la conception

simulation1. Mire2. Erreurs de




7. Reconstruction8. Evaluation des

erreurs de : reconstructionreprojection

calibrage


6 mm de focale, capteur 1/3’’,ligne de base 40 cm


CALIBRAGE

4.5 m 7 m Erreur* de reconstruction en cm

4.5 m 30 m

9.38 Z 0.38

* Erreur RMS


I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécisions4. Quantifier la qualité du système embarqué


4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS


I. CALIBRAGE

Validation de la rigidité de la caisse

Même sous conditions extrêmes, le système reste calibré.



I. CALIBRAGE

Extension de l’outil de simulation pour tester les conséquences d’une perte de calibrage

Résultats Sur un échantillonnage de points à 31.5 m


Tangage +0.5° Lacet +0.5°

Erreur* de reconstruction (cm) 20.8 1480

Erreur* de reprojection (pixel) 3.49 0.02

Estimation des distances faussée

Erreur de reprojection >1 pixel met en échec les algorithmes

* Erreur RMS


I. CALIBRAGE

Le calibrage en ligne : permet de corriger un calibrage existant utilise des images « naturelles » pour calibrer en cours d’utilisation

Méthodes testées : adaptation d’un « ajustement de faisceaux » qui minimise l’erreur de reprojection

Notre contribution : extension de l’outil de simulation de calibrage pour tester les performances du calibrage en ligne



I. CALIBRAGE

Résultats (Même configuration que précédemment) Fonctionne pour les variations de tangage Ne fonctionne pas pour une variation de l’angle de lacet


Tangage +0.5° Lacet +0.5°

Avant Après Avant Après

Erreur* de reconstruction (cm) 20.8 10-3 1480 898

* Erreur RMS

Erreur de reprojection >1 pixelErreur de reconstruction ~8 m.

OK

Bien fixer les caméras en lacet


I. CALIBRAGE

Contributions : Apporter une réponse ou un élément de réponse aux problèmes de précision de calibrage

Des expérimentations sur bancs Validation du système optique + pare-brise Validation de la rigidité de la caisse

Un outil d’aide à la conception et au dimensionnement Simulation du processus de calibrage Simulation de décalibrage Simulation de calibrage en ligne Evaluation quantitative des performances au cours de la vie du véhicule.

CONCLUSION


II. DÉTECTION D’OBSTACLES1. Objectifs et approches2. Mise en correspondance stéréoscopique3. Segmentation des obstacles


II. DÉTECTION D’OBSTACLES

Objectifs : Extraire l’information pertinente de la densité

d’information fournie par le capteur.

Approches : Identification du mouvement

Heinrich et al. [Hei02], Franke et al. [FH02],Rabe et al. [RFG07]

Identification de certains typesd’obstacles (piétons, cycles, …)

[BHD97, SMBD02, HKT+98, YC06,BBFL02,BBB05, LWLW06,…]

Identification de la route Maraninchi et al. [MR01], Nedevschi et al. [NDM+07],

Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], …

1. OBJECTIFS ET APPROCHES


obstacle ?

II. DÉTECTION D’OBSTACLES1. OBJECTIFS ET APPROCHES

1. Mise en correspondance stéréoscopique

2. Segmentation des obstacles



1. Objectifs et approches2. Mise en correspondance stéréoscopique

A. La problématiqueB. Etape préliminaire de simplification : la rectificationC. Mise en correspondance par corrélationD. Choix d’une rectification

3. Segmentation des obstacles

PLAN


II. DÉTECTION D’OBSTACLES2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE

61

Caméra gauche Caméra droite



Restriction de l’espace de recherche

2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE


Une étape préliminaire simplificatrice : la rectification

II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION


Une étape préliminaire simplificatrice : la rectification Déformation des images pour une recherche horizontale

Il existe une infinité de rectifications valides [Dev97], [Zhang99]

II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION



Pour un point de l’image gauche, il faut estimer la position de son correspondant sur l’image droite : disparité.

2.B. MISE EN CORRESPONDANCE : RECTIFICATION

0

+-

Disparité : -20Distance : 1 m


Approche pour trouver la disparité :P. Fua 1993

II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION

Image gauche Image droite



Image de différenceImage gauche Image droite


disparité

diffé

renc

e

Approche pour trouver la disparité :P. Fua 1993


Image gauche Image droite Carte de disparité

Eloigné ProcheEchec


II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION




Pour avoir une apparence identique dans les deux images, la surface examinée doit être de disparité constante.

2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION





Les 9 paramètres de rectification permettent de choisir le faisceau de plans

Les surfaces de disparité constante forment : Dans le cas général des surfaces de section conique [MMB+98 ,PS04]

Dans le cas d’images rectifiées un faisceau de plans d’équation :


La disparité dx

sélectionne un plan du faisceau


Choix des 9 paramètres de rectification de manière à répartir ces plans face aux caméras







Choix des 9 paramètres de rectification de manière à aligner le plan de disparité nulle avec la route











Dans la carte de disparité, il faut différencier les points appartenant à la route et les autres.

Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05],

1. Objectifs et approches2. Mise en correspondance stéréoscopique3. Segmentation des obstacles

A. Cumul des rectificationsB. RésultatsC. Agrégation

PLAN


II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS

Fron

tale

Pla

n de

la ro

ute



disparité

différence

85

69



Fron

tale

Pla

n de

la ro

ute


II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS



Qualité de la carte de disparité ~93% des disparités correctement évaluées avec la double

rectification contre ~89% sans.

Qualité de la carte de segmentation 97% des pixels étiquetés (route/obstacle) le sont correctement.

Séquences réelles Ces résultats sont très bons car ce sont des images de synthèse. Pour évaluer sur des séquences réelles, il reste à gérer les

imperfections de calibrage.

3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS


Etat de l’artMulti-rectification : Utilisation de 3 caméras (et rectifications)

pour estimer l’orientation locale de la surface et ainsi détecter la présence d’obstacles routiers Williamson [Wil98].

Caractérisation des surfaces d’iso-disparité:

Mandelbaum et al. [MMB+98],Pollefeys et al. [PS04]

Contributions

Estimer la disparité plus finement par fusion des deux cartes de disparité

Lien entre le choix de la rectification et le faisceau de plans d’iso-disparité

II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS


II. DÉTECTION D’OBSTACLES3.C. L’AGRÉGATION


III. LA MESURE DE VITESSE 3-D1. La problématique2. Présentation de l’algorithme de Lucas & Kanade3. Extension à la stéréoscopie4. Gestion des variations de taille apparente5. Résultats


III. LA MESURE DE VITESSE 3-D

Certaines applications (comme l’ACC) réclament une mesure de vitesse relative précise.

Alors que le RADAR et LIDAR fournissent directement une mesure de vitesse relative (par effet doppler), un système basé vision requiert un traitement des données

1. LA PROBLÉMATIQUE


III. MESURE DE VITESSE 3-D

Image d’un point 3-D

1. LA PROBLÉMATIQUE


III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE

Déplacement 3-D :Flux de scène

[VBR+99]

Déplacement 2-D : Flux optique

Déplacement 2-D : Flux optique


Recherche d’un mouvement dans une série de reconstructions successives

[BBFN00, SZB99, MSKI06, NDF+04, FH02, RFG07, LCCG07, AKI05].

Recherche de flux optiques puis reconstruction 3-D

[ISK92, DHS02, RFG07, UF02].

III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE

93



1. La problématique2. Présentation de l’algorithme de Lucas & Kanade [BFSB92]

3. Extension à la stéréoscopie4. Gestion des variations de taille apparente5. Résultats

PLAN



Algorithme de suivi 2-D[BFSB92]

1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE










III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

Algorithme de suivi 2-D Résolution itérative par

méthode de Gauss-Newton


III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

Algorithme de suivi 2-D Résolution itérative par

méthode de Gauss-Newton


III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE







Adaptation au cas stéréoscopique de la formulation du problème de mesure de flux optique proposée par Lucas & Kanade [BFSB92]

2. EXTENSION À LA STÉRÉOSCOPIE

n vaut l pour « left » et r pour « right »





Le vecteur de paramètres P peut être représenté parUne paire de points 2-D :

4 paramètres pour 3 D.L.Cela revient à mesurer le flux optique eteffectuer la reconstruction séparément



Le vecteur de paramètres P peut être représenté parUn point 3-D dans l’espace Euclidien :

3 paramètres pour 3 D.L.Calculs complexes

2. EXTENSION À LA STÉRÉOSCOPIE



Le vecteur de paramètres P peut être représenté parUn point 2-D associé à la disparité : p = [x, y, d]T

3 paramètres pour 3 D.L.Simplifie les calculs


III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE







Ajout d’un paramètre w pour l’échelleP = (x, y, d, w)

La taille apparente est liée à la distance Z : La disparité d est liée à la distance Z : La variation de taille apparente est égale à la variation

de disparité :

Possible de gérer la variation de taille sans ajouter de paramètre supplémentaire

P = (x, y, d)

3. GESTION DES VARIATIONS DE TAILLE APPARENTE


III. MESURE DE VITESSE 3-D4. RÉSULTATS





114



115

d

x

y

0



L’erreur pour la méthode utilisant l’espace 3-D basé image et intégrant les variationsde taille

4. RÉSULTATS

116

Mesure parfaite

Mesure erronée

Erreur d’estimation

d

x

y

0



Quantifier les performances Bruit de mesure % d’échecs

Utilisation d’un modèle de mélange de Gaussiennes 1ère Gaussienne étroite

pour le bruit 2ème Gaussienne large

pour les échecs

4. RÉSULTATS

117



Sans contrainte(2 trackers 2-D) Sigma 5 pixels 50% d’échecs

Avec des points 3-D(espace image) Sigma 5 pixels 40% d’échecs

Avec des points 3-D et variation de taille Sigma 0.1 pixel 10% d’échecs

4. RÉSULTATS

Séquence d’évaluation spécialement conçue pour mettre en avant l’apport de l’algorithme.


CONCLUSIONS


Extension de l’algorithme Lucas-Kanade

multiples rectifications + agrégation

Conception d’un outil d’évaluation

CONCLUSIONS

Etude de toute la chaine algorithmique

BILAN

Caméras

Vitesses relatives aux obstacles


CONCLUSIONS

Reste à valider sur des données réelles : Valider les simulations de calibrage. Gérer finement le calibrage pour appliquer les multiples

rectifications sur des séquences réelles. Comparer la mesure 3-D par flux optique avec une mesure réelle

métrée.

PERSPECTIVES


CONCLUSIONS

L’avenir de la stéréoscopie pour les applications automobiles A court ou moyen terme

Technologie assez mature pour des prestations non critiques (simple information au conducteur) ou en complément d’un autre capteur (ex : Radar).

A plus long terme A performances égales, la polyvalence du capteur le rend plus attractif que ses

concurrents. Les problèmes de sureté de fonctionnement (fausses détections, ou détections

manquées) ne sont pas insolubles. Tout comme pour le RADAR et le LIDAR, la prise en compte d’hypothèses sur la scène permet de réduire les erreurs.

Les limites infranchissables de ce capteur (brouillard, obscurité, obstacles masqués …) ne sont pas un réel problème dans la mesure où le conducteur souffre des mêmes limitations.

PERSPECTIVES


QUESTIONS

Merci de votre attention

Documents

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG