Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Julien Morat 1er Juillet 2008 Renault / INRIA1er Juillet 2008 INRIA / Renault

Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile

Présenté par Julien Moratpour obtenir le grade de DOCTEUR DE L’INPG

Président du jury : J. CrowleyRapporteurs : D. Aubert

J-M. LavestExaminateurs : F. Devernay

S. Cornou R. Horaud

Julien Morat 1er Juillet 2008 Renault / INRIA 2

LE CONTEXTE

Centre de recherche et développement Renault : ~12 000 personnes

Direction de la recherche : ~ 120 personnes

Electronique pour l’aide à la conduite : ~ 20 personnes

LE CENTRE DE RECHERCHE ET DÉVELOPPEMENT DE RENAULT

LA PROBLÉMATIQUELES DIFFÉRENTES PRESTATIONS D’AIDE À LA CONDUITE

[GBS05] Gavrila et al

Des prestations intelligentes pour améliorer la sécurité et le confort Régulateur de distance (ACC)

Détection de franchissement de marquage routier (Lane Keeping Assist)

Détection anticipée de collision (Collision Warning ou Precrash)

LA PROBLÉMATIQUE

Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …

Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar

LES BESOINS

LA PROBLÉMATIQUE

Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …

Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar Caméra

LES BESOINS

Caméra• Semble avoir des performances similaires• Coût attractif• Peut remplacer plusieurs capteurs

LA PROBLÉMATIQUE

L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques.

Identifier ces problèmes et les solutions possibles Application exemple : régulateur de distance (ACC)

Trois fonctions primordiales : Le calibrage La détection d’obstacles La mesure de vitesse relative

LES OBJECTIFS DE LA THÈSE

Julien Morat 1er Juillet 2008 Renault / INRIA

PLAN DE LA PRÉSENTATION

Modèles mathématiquesI. CalibrageII. Détection d’obstaclesIII. Mesure de vitesse 3-D Conclusions

caméra

MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA

Centre optique

Plan image

Un objet 3-D

Objet projeté

Plan image

Un objet 3-D

Centre optique

connuinconnu

inconnuconnu

MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D

inconnuconnus

I. CALIBRAGE1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué

CALIBRAGE

Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.

OBJECTIF

I. CALIBRAGE1. OBJECTIF ET PRINCIPE

Connaître la fonction de projection P

• Distance focale• Taille des pixels• Nombre de pixels• Distorsions• …

inconnu

I. CALIBRAGE

Points 3-D connus : une mire

1. OBJECTIF ET PRINCIPE

I. CALIBRAGE

Acquisition d’images de la mire avec le système

I. CALIBRAGE

Extraction des marques fiduciaires

connuconnu

inconnu

Estimation par optimisation des paramètres p

connuconnu

I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué

2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE

I. CALIBRAGE

Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance

(soit 5% de la distance)

Le système doit être conçu pour atteindre ces performances.

La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.

I. CALIBRAGE

Exemple d’un mauvais calibrage

I. CALIBRAGE2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE

Exemple d’un mauvais calibrage

I. CALIBRAGE

Différence entre le point 3-D réel et estimé : Dénommée « erreur de reconstruction » Se mesure en mètres Du point du vue du constructeur,

c’est le critère essentiel de qualitédu système

I. CALIBRAGE

Différence entre les points 2-D observés et les projections du point reconstruit Dénommée « erreur de reprojection » Se mesure en pixels Minimiser cette différence est

important pour les algorithmes

I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision

A. Respect du modèleB. Qualité du calibrageC. Variation de la géométrie du capteur au cours du temps

4. Quantifier la qualité du système embarqué

3. LES SOURCES D’IMPRÉCISION

3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE

Caméra

Centre optique

Caméra

3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE

Pare-brise

?Respect du modèle1

I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE

I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS

Variation des paramètres5

I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécision4. Quantifier la qualité du système embarqué

A. Respect du modèleB. Le calibrageC. Au cours du temps

4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ

I. CALIBRAGE

Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance)

L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.

4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ

I. CALIBRAGE

Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec Srikumar Ramalingam et Peter Sturm)

Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.

4.A. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : RESPECT DU MODÈLE

I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécisions4. Quantifier la qualité du système embarqué

4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE

I. CALIBRAGE

La qualité du système dépend de : La configuration du système La mire Les algorithmes de calibrage Les erreurs de détection de la mire Les imperfections de construction de la mire …

Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : Système complexe rendant la modélisation analytique difficile, Permet de tester de nombreuses configurations.

4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE

I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE

CALIBRAGEsimulation

1. Mire

CALIBRAGEsimulation

1. Mire2. Erreurs de

fabrication

CALIBRAGEsimulation

fabrication3. Projection

Paramètresréels

CALIBRAGEsimulation

fabrication3. Projection4. Erreurs de

détection

CALIBRAGEsimulation

détection5. Calibragecalibrage

Paramètres calibrés

CALIBRAGEsimulation

détection5. Calibrage6. Echantillonnage

de la scène + Projection

calibrage

Paramètresréels

CALIBRAGEsimulation

7. Reconstruction

calibrage

Paramètres calibrés

CALIBRAGEsimulation

7. Reconstruction8. Evaluation des

erreurs de : reconstructionreprojection

calibrage

CALIBRAGE Cette méthode par simulation

permet de tester : les différents algorithmes, les différentes configurations de système et les différentes mires

Outil d’aide à la conception

simulation1. Mire2. Erreurs de

7. Reconstruction8. Evaluation des

erreurs de : reconstructionreprojection

calibrage

6 mm de focale, capteur 1/3’’,ligne de base 40 cm

CALIBRAGE

4.5 m 7 m Erreur* de reconstruction en cm

4.5 m 30 m

9.38 Z 0.38

* Erreur RMS

I. CALIBRAGE

1. Objectif et principe2. Définition de la qualité du calibrage3. Les sources d’imprécisions4. Quantifier la qualité du système embarqué

4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS

I. CALIBRAGE

Validation de la rigidité de la caisse

Même sous conditions extrêmes, le système reste calibré.

I. CALIBRAGE

Extension de l’outil de simulation pour tester les conséquences d’une perte de calibrage

Résultats Sur un échantillonnage de points à 31.5 m

Tangage +0.5° Lacet +0.5°

Erreur* de reconstruction (cm) 20.8 1480

Erreur* de reprojection (pixel) 3.49 0.02

Estimation des distances faussée

Erreur de reprojection >1 pixel met en échec les algorithmes

* Erreur RMS

I. CALIBRAGE

Le calibrage en ligne : permet de corriger un calibrage existant utilise des images « naturelles » pour calibrer en cours d’utilisation

Méthodes testées : adaptation d’un « ajustement de faisceaux » qui minimise l’erreur de reprojection

Notre contribution : extension de l’outil de simulation de calibrage pour tester les performances du calibrage en ligne

I. CALIBRAGE

Résultats (Même configuration que précédemment) Fonctionne pour les variations de tangage Ne fonctionne pas pour une variation de l’angle de lacet

Tangage +0.5° Lacet +0.5°

Avant Après Avant Après

Erreur* de reconstruction (cm) 20.8 10-3 1480 898

* Erreur RMS

Erreur de reprojection >1 pixelErreur de reconstruction ~8 m.

Bien fixer les caméras en lacet

I. CALIBRAGE

Contributions : Apporter une réponse ou un élément de réponse aux problèmes de précision de calibrage

Des expérimentations sur bancs Validation du système optique + pare-brise Validation de la rigidité de la caisse

Un outil d’aide à la conception et au dimensionnement Simulation du processus de calibrage Simulation de décalibrage Simulation de calibrage en ligne Evaluation quantitative des performances au cours de la vie du véhicule.

CONCLUSION

II. DÉTECTION D’OBSTACLES1. Objectifs et approches2. Mise en correspondance stéréoscopique3. Segmentation des obstacles

II. DÉTECTION D’OBSTACLES

Objectifs : Extraire l’information pertinente de la densité

d’information fournie par le capteur.

Approches : Identification du mouvement

Heinrich et al. [Hei02], Franke et al. [FH02],Rabe et al. [RFG07]

Identification de certains typesd’obstacles (piétons, cycles, …)

[BHD97, SMBD02, HKT+98, YC06,BBFL02,BBB05, LWLW06,…]

Identification de la route Maraninchi et al. [MR01], Nedevschi et al. [NDM+07],

Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], …

1. OBJECTIFS ET APPROCHES

obstacle ?

II. DÉTECTION D’OBSTACLES1. OBJECTIFS ET APPROCHES

1. Mise en correspondance stéréoscopique

2. Segmentation des obstacles

1. Objectifs et approches2. Mise en correspondance stéréoscopique

A. La problématiqueB. Etape préliminaire de simplification : la rectificationC. Mise en correspondance par corrélationD. Choix d’une rectification

3. Segmentation des obstacles

II. DÉTECTION D’OBSTACLES2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE

Caméra gauche Caméra droite

Restriction de l’espace de recherche

2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE

Une étape préliminaire simplificatrice : la rectification

II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION

Une étape préliminaire simplificatrice : la rectification Déformation des images pour une recherche horizontale

Il existe une infinité de rectifications valides [Dev97], [Zhang99]

II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION

Pour un point de l’image gauche, il faut estimer la position de son correspondant sur l’image droite : disparité.

2.B. MISE EN CORRESPONDANCE : RECTIFICATION

Disparité : -20Distance : 1 m

Approche pour trouver la disparité :P. Fua 1993

II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION

Image gauche Image droite

Image de différenceImage gauche Image droite

disparité

diffé

Approche pour trouver la disparité :P. Fua 1993

Image gauche Image droite Carte de disparité

Eloigné ProcheEchec

II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION

Pour avoir une apparence identique dans les deux images, la surface examinée doit être de disparité constante.

2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION

Les 9 paramètres de rectification permettent de choisir le faisceau de plans

Les surfaces de disparité constante forment : Dans le cas général des surfaces de section conique [MMB+98 ,PS04]

Dans le cas d’images rectifiées un faisceau de plans d’équation :

La disparité dx

sélectionne un plan du faisceau

Choix des 9 paramètres de rectification de manière à répartir ces plans face aux caméras

Choix des 9 paramètres de rectification de manière à aligner le plan de disparité nulle avec la route

Dans la carte de disparité, il faut différencier les points appartenant à la route et les autres.

Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05],

1. Objectifs et approches2. Mise en correspondance stéréoscopique3. Segmentation des obstacles

A. Cumul des rectificationsB. RésultatsC. Agrégation

II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS

disparité

différence

II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS

Qualité de la carte de disparité ~93% des disparités correctement évaluées avec la double

rectification contre ~89% sans.

Qualité de la carte de segmentation 97% des pixels étiquetés (route/obstacle) le sont correctement.

Séquences réelles Ces résultats sont très bons car ce sont des images de synthèse. Pour évaluer sur des séquences réelles, il reste à gérer les

imperfections de calibrage.

3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS

Etat de l’artMulti-rectification : Utilisation de 3 caméras (et rectifications)

pour estimer l’orientation locale de la surface et ainsi détecter la présence d’obstacles routiers Williamson [Wil98].

Caractérisation des surfaces d’iso-disparité:

Mandelbaum et al. [MMB+98],Pollefeys et al. [PS04]

Contributions

Estimer la disparité plus finement par fusion des deux cartes de disparité

Lien entre le choix de la rectification et le faisceau de plans d’iso-disparité

II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS

II. DÉTECTION D’OBSTACLES3.C. L’AGRÉGATION

III. LA MESURE DE VITESSE 3-D1. La problématique2. Présentation de l’algorithme de Lucas & Kanade3. Extension à la stéréoscopie4. Gestion des variations de taille apparente5. Résultats

III. LA MESURE DE VITESSE 3-D

Certaines applications (comme l’ACC) réclament une mesure de vitesse relative précise.

Alors que le RADAR et LIDAR fournissent directement une mesure de vitesse relative (par effet doppler), un système basé vision requiert un traitement des données

1. LA PROBLÉMATIQUE

III. MESURE DE VITESSE 3-D

Image d’un point 3-D

1. LA PROBLÉMATIQUE

III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE

Déplacement 3-D :Flux de scène

[VBR+99]

Déplacement 2-D : Flux optique

Recherche d’un mouvement dans une série de reconstructions successives

[BBFN00, SZB99, MSKI06, NDF+04, FH02, RFG07, LCCG07, AKI05].

Recherche de flux optiques puis reconstruction 3-D

[ISK92, DHS02, RFG07, UF02].

III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE

1. La problématique2. Présentation de l’algorithme de Lucas & Kanade [BFSB92]

3. Extension à la stéréoscopie4. Gestion des variations de taille apparente5. Résultats

Algorithme de suivi 2-D[BFSB92]

1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

Algorithme de suivi 2-D Résolution itérative par

méthode de Gauss-Newton

III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE

Algorithme de suivi 2-D Résolution itérative par

méthode de Gauss-Newton

III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE

Adaptation au cas stéréoscopique de la formulation du problème de mesure de flux optique proposée par Lucas & Kanade [BFSB92]

2. EXTENSION À LA STÉRÉOSCOPIE

n vaut l pour « left » et r pour « right »

Le vecteur de paramètres P peut être représenté parUne paire de points 2-D :

4 paramètres pour 3 D.L.Cela revient à mesurer le flux optique eteffectuer la reconstruction séparément

Le vecteur de paramètres P peut être représenté parUn point 3-D dans l’espace Euclidien :

3 paramètres pour 3 D.L.Calculs complexes

2. EXTENSION À LA STÉRÉOSCOPIE

Le vecteur de paramètres P peut être représenté parUn point 2-D associé à la disparité : p = [x, y, d]T

3 paramètres pour 3 D.L.Simplifie les calculs

III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE

Ajout d’un paramètre w pour l’échelleP = (x, y, d, w)

La taille apparente est liée à la distance Z : La disparité d est liée à la distance Z : La variation de taille apparente est égale à la variation

de disparité :

Possible de gérer la variation de taille sans ajouter de paramètre supplémentaire

P = (x, y, d)

3. GESTION DES VARIATIONS DE TAILLE APPARENTE

III. MESURE DE VITESSE 3-D4. RÉSULTATS

L’erreur pour la méthode utilisant l’espace 3-D basé image et intégrant les variationsde taille

4. RÉSULTATS

Mesure parfaite

Mesure erronée

Erreur d’estimation

Quantifier les performances Bruit de mesure % d’échecs

Utilisation d’un modèle de mélange de Gaussiennes 1ère Gaussienne étroite

pour le bruit 2ème Gaussienne large

pour les échecs

4. RÉSULTATS

Sans contrainte(2 trackers 2-D) Sigma 5 pixels 50% d’échecs

Avec des points 3-D(espace image) Sigma 5 pixels 40% d’échecs

Avec des points 3-D et variation de taille Sigma 0.1 pixel 10% d’échecs

4. RÉSULTATS

Séquence d’évaluation spécialement conçue pour mettre en avant l’apport de l’algorithme.

CONCLUSIONS

Extension de l’algorithme Lucas-Kanade

multiples rectifications + agrégation

Conception d’un outil d’évaluation

CONCLUSIONS

Etude de toute la chaine algorithmique

Caméras

Vitesses relatives aux obstacles

CONCLUSIONS

Reste à valider sur des données réelles : Valider les simulations de calibrage. Gérer finement le calibrage pour appliquer les multiples

rectifications sur des séquences réelles. Comparer la mesure 3-D par flux optique avec une mesure réelle

métrée.

PERSPECTIVES

CONCLUSIONS

L’avenir de la stéréoscopie pour les applications automobiles A court ou moyen terme

Technologie assez mature pour des prestations non critiques (simple information au conducteur) ou en complément d’un autre capteur (ex : Radar).

A plus long terme A performances égales, la polyvalence du capteur le rend plus attractif que ses

concurrents. Les problèmes de sureté de fonctionnement (fausses détections, ou détections

manquées) ne sont pas insolubles. Tout comme pour le RADAR et le LIDAR, la prise en compte d’hypothèses sur la scène permet de réduire les erreurs.

Les limites infranchissables de ce capteur (brouillard, obscurité, obstacles masqués …) ne sont pas un réel problème dans la mesure où le conducteur souffre des mêmes limitations.

PERSPECTIVES

QUESTIONS

Merci de votre attention

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Documents

Math IND Grade 9

Ependymomes: Classification histologique et moléculaire...Ependymome de grade II (bas grade): V4+++, V3 Ependymome de grade III (haut grade): intraparenchymateux, VL -mitoses -nécrose

7th Grade Sci

Compte rendu-fiche standardisé en pathologie ... · Si Pan IN, préciser le grade le plus sévère présent sur la pièce : 7 grade 1 7 grade 2 7 grade 3 7 Pancréatite chronique

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Méningiomes de grade II et de grade III : Etude des facteurs ...grade II et 33 de grade III) évoluant entre 1990 et 2004. Cette étude est clinique, histopathologique et statistique

Acrosport 5th Grade

Escarres : prévention et prise en charge...31 patients totalisaient 32 escarres réparties comme suit selon le grade : grade I (n = 16), grade II (n = 14), grade III (n = 3) et grade

Math Grade 4

Rapport de l’épreuve TIPE · 2018. 2. 7. · 3 I. INTRODUCTION PAR MICHEL BARIBAUD, PRESIDENT DE L’EPREUVE TIPE, PROFESSEUR EMERITE A L’INPG GRENOBLE La uatozième édition

Math problems grade 10

GRADE 1 GRADE 2 GRADE 3€¦ · CLASSIFICATION(2) ENVIRONNEMENT ... ou dès l’apparition des symptômes GRADE 1 GRADE 2 GRADE 3 • Douleur légère ... CHOIX DES MÉDICAMENTS

grade - univ-lille.fr

GRADE 4 EXPRESSIONSblog.classe.cssh.qc.ca/.../2018/08/Grade-4_Expressions.pdfExpressions Grade 4 4 1 How’s the weather today? 1 Comment est la température aujourd’hui? 2 It’s

7 th Grade Math

36 Scott Ville Grade

GRADE I/GRADE 7 GRADE 2/GRADE 8 GRADE 3/GRADE GRADE 4,'GRADE 10 GRADE 5/GRADE 11 GRADE 6,'GRADE 12 TOTAL FOR NON-GRADED TOTAL GUI L NES 1 This form shall be accomplished every end

Math Grade 8

Morat - Murten samedi 21 mai 2011 défilement automatique

diard.files.wordpress.com · INSTITUT NATIONAL POLYTECHNIQUE DE GRENOBLE No attribué par la bibliothèque | / / / / / / / / / | THÈSE pour obtenir le grade de DOCTEUR DE L’INPG