Introduction agrave la deacutetection drsquoobjetsdans les images

Jean-Philippe Tarel

LCPC ParisTarellcpcfr

Seminaire Master STIC- Informatique

Specialite MOCS finalite Recherche

Cours de Vision par Ordinateur

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 1

Plan

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 2

Partie 1

1 Deacutetecter un objet modeacuteliseacute par une image

bull Meacutethode par correacutelation

bull Transformeacutee de Hough geacuteneacuteraliseacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 3

Exemple simpleLes images agrave traiter

Lrsquoobjet agrave deacutetecter (modeacuteliseacute par une image)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 4

Meacutethode par correacutelation (1)Image originale

Calcul de la carte de correlation Pour chaque position calculer la distance entre lrsquoimagemodegravele et la zone de lrsquoimage associeacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 5

Meacutethode par correacutelation (2)Extraction des minima locaux

et deacutecision par seuillage sur la valeur de la distance

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 6

Deacutetection par correacutelationReacutesultats

Temps de deacutetection par image environ 10s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 7

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Plan

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 2

Partie 1

1 Deacutetecter un objet modeacuteliseacute par une image

bull Meacutethode par correacutelation

bull Transformeacutee de Hough geacuteneacuteraliseacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 3

Exemple simpleLes images agrave traiter

Lrsquoobjet agrave deacutetecter (modeacuteliseacute par une image)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 4

Meacutethode par correacutelation (1)Image originale

Calcul de la carte de correlation Pour chaque position calculer la distance entre lrsquoimagemodegravele et la zone de lrsquoimage associeacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 5

Meacutethode par correacutelation (2)Extraction des minima locaux

et deacutecision par seuillage sur la valeur de la distance

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 6

Deacutetection par correacutelationReacutesultats

Temps de deacutetection par image environ 10s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 7

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Partie 1

1 Deacutetecter un objet modeacuteliseacute par une image

bull Meacutethode par correacutelation

bull Transformeacutee de Hough geacuteneacuteraliseacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 3

Exemple simpleLes images agrave traiter

Lrsquoobjet agrave deacutetecter (modeacuteliseacute par une image)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 4

Meacutethode par correacutelation (1)Image originale

Calcul de la carte de correlation Pour chaque position calculer la distance entre lrsquoimagemodegravele et la zone de lrsquoimage associeacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 5

Meacutethode par correacutelation (2)Extraction des minima locaux

et deacutecision par seuillage sur la valeur de la distance

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 6

Deacutetection par correacutelationReacutesultats

Temps de deacutetection par image environ 10s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 7

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Exemple simpleLes images agrave traiter

Lrsquoobjet agrave deacutetecter (modeacuteliseacute par une image)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 4

Meacutethode par correacutelation (1)Image originale

Calcul de la carte de correlation Pour chaque position calculer la distance entre lrsquoimagemodegravele et la zone de lrsquoimage associeacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 5

Meacutethode par correacutelation (2)Extraction des minima locaux

et deacutecision par seuillage sur la valeur de la distance

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 6

Deacutetection par correacutelationReacutesultats

Temps de deacutetection par image environ 10s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 7

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Meacutethode par correacutelation (1)Image originale

Calcul de la carte de correlation Pour chaque position calculer la distance entre lrsquoimagemodegravele et la zone de lrsquoimage associeacutee

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 5

Meacutethode par correacutelation (2)Extraction des minima locaux

et deacutecision par seuillage sur la valeur de la distance

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 6

Deacutetection par correacutelationReacutesultats

Temps de deacutetection par image environ 10s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 7

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Meacutethode par correacutelation (2)Extraction des minima locaux

et deacutecision par seuillage sur la valeur de la distance

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 6

Deacutetection par correacutelationReacutesultats

Temps de deacutetection par image environ 10s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 7

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Deacutetection par correacutelationReacutesultats

Temps de deacutetection par image environ 10s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 7

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Choix du seuil de deacutecision

Seuil de deacutecision=10 Seuil de deacutecision=20

Seuil de deacutecision=30 Seuil de deacutecision=40rArr Compromis entre le nombre de fausses alarmes et lenombre de non-deacutetections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 8

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Nombre de non-detections

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 9

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Comparaison de deux deacutetecteurs

Nombre de fausses alarmes

Mauvais detecteur

Bon detecteur

Nombre de non-detections

La comparaison entre deux deacutetecteurs doit ecirctre reacutealiseacuteepar la comparaison des courbes fausse-alarmenon-deacutetection obtenues en faisant varier le seuil de deacutecision

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 10

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Choix de la distancebull On suppose implicitement que les perturbations sont

additives indeacutependantes et identiquementdistribueacutees (iid)

Iobs(x y) = Iref(x y) + b

en chaque pixel avec b une variable aleacuteatoirecentreacutee

bull Lorsque b est Gaussienne b prop eminusb2

2σ2 il faut utiliser ladistance Euclidienne D(Iobs Iref ) =

radic

sum

(xy)(Iobs(x y) minus Iref (x y))2

bull Lorsque b est Laplacienne b prop eminus|b|σ il faut utiliser la

distance L1 D(Iobs Iref ) =

sum

(xy) |Iobs(x y) minus Iref (x y)|Introduction agrave la deacutetection drsquoobjets dans les images ndash p 11

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 12

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

LaplaceGauss (1)

minus5 minus4 minus3 minus2 minus1 0 1 2 3 4 50

005

01

015

02

025

03

035

04

045

05GaussLaplace

rArr La distance L1 donne des reacutesultats plus robustes auxgrandes perturbations que la distance L2 pour une mecircmeeacutechelle

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 13

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

LaplaceGauss (2)

Bruits de moyenne=0 variance=1

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

minus4 minus3 minus2 minus1 0 1 2 3 4minus4

minus3

minus2

minus1

0

1

2

3

4

Gauss LaplaceIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 14

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Limites de la correacutelation

bull Coucircteux en calculs (mais paralleacutelisable)

bull Modegravele drsquoobjet tregraves restreint

bull Modegravele des perturbations peu reacutealiste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 15

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Deacutetection des contoursLrsquoextraction des contours permet de reacuteduire la variabiliteacutedue aux changements drsquoeacuteclairage Les images descontours

La forme agrave deacutetecter

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 16

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Transformeacutee de HoughImage Accumulateurx

y

y = Ax + B

a

b

(AB)

(XY )

b = minusXa + Y

Forme agrave deacutetecter ligne (utilisation de la dualiteacuteligne-point)Parameacutetrisation carteacutesienne rArr problegravemes avec lesverticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 17

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Transformeacutee de Hough en polaireImage Accumulateurx

y r

(XY ) θ

(Θ R)

cos(θ)X + sin(θ)Y = r

cos(Θ)x + sin(Θ)y = R

Forme agrave deacutetecter ligneParameacutetrisation polaire plus lourde mais pas de problegravemeavec les verticales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 18

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Meacutethode Hough geacuteneacuteraliseacutee (1)Accumulation par transformee de Houghgeneralisee Lrsquoaccumulateur de Hough est une image des positionspossibles de lrsquoobjet agrave deacutetecter Pour chaque pixel decontours on ajoute un vote dans lrsquoaccumulateur pourtoutes les positions de lrsquoobjet agrave deacutetecter qui pourraientexpliquer la preacutesence de ce pixel de contours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 19

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Meacutethode Hough geacuteneacuteraliseacutee (2)Extraction des minima locaux

et deacutecision par seuillage sur le nombre de pixels decontours

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 20

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Introduction de la tangenteImage Accumulateurx

y

y = Ax + B

a

b

(AB)

Forme agrave deacutetecter ligneParameacutetrisation carteacutesienneNeacutecessite le calcul du gradient mais est plus rapide

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 21

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Avec ou sans tangente

rArr Version avec la tangente est plus discriminante

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 22

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Hough geacuteneacuteraliseacuteeReacutesultats

Temps de deacutetection par image environ 01s

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 23

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Perturbations dans les images (1)Perturbations photomeacutetriques

bull changement de lrsquointensiteacute et de la couleur delrsquoeacuteclairage

bull ombres drsquoautres objets

bull conditions atmospheacuteriques (ex brouillard)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 24

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Perturbations dans les images (2)Perturbations geacuteomeacutetriques

bull en position (translation) et angle (rotation)

bull en taille (eacutechelle homotheacutetie)

bull changement de point de vue (approcheacute par unetransformation affine ou homographique)

bull occultations parties manquantes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 25

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Partie 2

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

bull Modeacutelisation de la variabiliteacute par uneGaussienne multi-dimensionnelle

bull Deacutetection SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 26

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Modeacutelisation de la variabiliteacuteComment tenir compte de cette variabiliteacuterArr lrsquoobserver et la modeacuteliser

Deux types

bull Les perturbations impliquent une faible variabiliteacutedes observationsrArr modeacuteliser ou apprendre cesperturbationsex variation de lrsquoangle de vue entre minus5 et 5 degreacutes

bull Les invariances agrave certaines variables rArr modeacutelisercette invarianceex invariance agrave la rotation de lrsquoimage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 27

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Approches possibles

Comment modeacuteliser la variabiliteacute des aspects de lrsquoobjet agravedeacutetecter

bull Concevoir un modegravele parameacutetrique et estimer sesparamegravetres de faccedilon robuste

bull Construire un modegravele par apprentissage agrave partirdrsquoexemples

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 28

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Exemple reacutealisteLes images agrave traiter

Objet agrave deacutetecter une voiture sombre vue de coteacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 29

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Vocabulaire en apprentissage (1)

Deacutefinitions

bull Apprentissage supervise un meacutediateur indiquepour chaque donneacutee son label (objetnon objet)

bull Apprentissage non supervise lrsquoalgorithme doitfaire lui mecircme la part des choses

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 30

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Vocabulaire en apprentissage (2)Deacutefinitions

bull Base drsquoapprentissage (Training database) imagesqui permettent de construire le modegravele de lrsquoobjet agravedeacutetecter et qui repreacutesente bien ses diffeacuterents aspects

bull Base de test (Test database) images diffeacuterentes dela base drsquoapprentissage qui permettent de valider laqualiteacute de lrsquoapprentissage

bull Base de validation (Validation database) imagesdiffeacuterentes des bases preacuteceacutedentes qui permettenteacuteventuellement drsquooptimiser le choix des paramegravetresde lrsquoalgorithme de deacutetection

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 31

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Base drsquoapprentissage

Exemples de voiture sombre vue de coteacute

Base de p = 212 images drsquoexemples positifs

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 32

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Masquage

Exemples de voiture sombre vue de coteacute sans fond

Masque du fond commun

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 33

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Choix de la signature

Nombreux choix possibles pour la repreacutesentation dechaque image de la base drsquoapprentissage en fonction delrsquoapplication

Un choix simplea b c d

c e

fe g h

k lji

a

b d

f

(abcdefghijkl)=X

(abcdef)=X

Base drsquoapprentissage = ensemble de vecteurs Xi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 34

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Modeacutelisation Gaussienne (1)

Chaque image est un vecteur Xi dans un espace dedimension d grande Si la variabiliteacute des images drsquounmecircme objet est Gaussienne dans un sous-espace laprobabiliteacute pour X drsquoecirctre une image de lrsquoobjet est

prob(X) =1

radic

(2π)ndet(S)eminus

1

2(XminusM)tSminus1(XminusM)

ougrave M est sa moyenne et S sa matrice de covariance

La variabiliteacute de lrsquoobjet est geacuteneacuteralement de dimension nbeaucoup plus petite que d

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 35

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Modeacutelisation Gaussienne (2)

S

sous-espace principal

M

O

Comment estimer le sous-espace principal la moyenneM et la sous matrice de covariance S

rArr Analyse en Composantes Principales (ACP ou PCA)des p vecteurs de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 36

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

ACP (1)Analyse en composantes principales des p vecteurs Xi

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire la matrice desdonneacutees (Yi)

bull diagonaliser la matrice drsquoinertie I = (Yi)(Yi)t en

I = RLRt avec L = (λi)1leiled diagonale et R unerotation

bull conserver uniquement les n plus grandes valeurspropres (λi)1leilen = Λ et les n vecteurs propresassocieacutees ρ ρ est une matrice d times n

bull Le sous espace principal est le perpendiculaire agrave ρ etS = ρΛρt

rArr permet de reacuteduire la dimension de lrsquoespace desattributs Introduction agrave la deacutetection drsquoobjets dans les images ndash p 37

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

ACP (2)

bcaraffpt

Y x 103

3X x 10

-30000

-25000

-20000

-15000

-10000

-05000

00000

05000

10000

15000

20000

25000

30000

-20000 -10000 00000 10000 20000 30000

Projection sur lrsquoespace reacuteduit aux deux premiegraverescomposantes principales de la base drsquoapprentissage

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 38

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

ACP (3)En pratique deacutecomposition en valeurs singuliegraveres

bull estimer M comme la moyenne des Xi centrer lesdonneacutees Yi = Xi minus M et construire (Yi)

bull SVD de la matrice des donneacutees (Yi) = RV U t avecR rotation de taille d times d V matrice diagonale desvaleurs singuliegraveres de taille d times p et U rotation detaille p times p

bull conserver uniquement les n plus grandes valeurssinguliegraveres de V λi = v2

i et les n vecteurs associeacuteesρ

bull La transformation Z = ρtY projette le vecteur Ydans une base orthogonale du sous-espace principal

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 39

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Meacutethode SVD de deacutetection (1)La distance agrave lrsquoobjet moyen estd(XM) = (ρt(X minus M))tΛminus1ρt(X minus M) lorsque X estdans le sous-espace principal

sous-espace principal

M

O

X

S

Y

Comment estimer la distance sur tout lrsquoespace entre unvecteur X et lrsquoobjet moyen M

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 40

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Meacutethode SVD de deacutetection (2)Apregraves ACP

bull La transformation Z = ρt(X minus M) projette levecteur X dans le sous-espace principal La distanceagrave lrsquoobjet moyen est d(XM) = Z tΛminus1Z lorsque Xest dans le sous-espace principal

bull Pour tenir compte de la distance de X ausous-espace principal il faut ajouter agrave d(XM) leterme 1

rX minus Z2 avec

r = 1dminusn

sumdi=n+1 λi = 1

dminusn

sumdi=n+1 v2

i

rArr d(XM) = V minus1Z +d minus n

V 2X minus Z2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 41

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Vecteurs propresLes n = 10 composantes principales

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 42

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

ReconstructionPermet un codage grossier de lrsquoobjet avec n = 10coefficients

Original ReconstructionIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 43

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Reacutesultats deacutetection SVD

Base ACP avec les n = 10 composantes preacuteceacutedentes

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 44

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Reacutesultats de deacutetection

Base ACP avec n = 10 composantes sur les imagesdrsquoangles

Temps moyen= ntimesmeacutethode par correacutelation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 45

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Partie 3

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

bull Modeacutelisation de variabiliteacutes complexes

bull Deacutetection SVM (Support Vector Machine)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 46

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Base drsquoapprentissage plus richeExemples de voiture vue de coteacute

rArr Preacutesence de plusieurs classes

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 47

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Modeacutelisation par un meacutelange (1)

O

X

Y

sous-espace principal

M2

M1M3

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 48

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Modeacutelisation par un meacutelange (2)La distribution des aspects est modeacuteliseacutee par un meacutelangede m Gaussienne de moyennes Mj et de matrice decovariance Cj

prob(Y ) =

j=msum

j=1

wj

1radic

detCj

g((Y minus Mj)tCminus1

j (Y minus Mj))

avec g(x) = eminus1

2x2

Le plus souvent Cj = σ2Id avec σfixeacute ou agrave estimer Mais comment estimer les Mj eteventuellement Cj

bull Si seulement des exemples positifs rArr meacutethodes declassification

bull Si exemples positifs et neacutegatifs rArr SVMIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 49

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Classification

Meacutelange de 3 classes avec adaptation de la matrice decovariance

++ +

++

+

++

+

++

++

++ ++

++

++

+++ +

++

+

++

+

++

++

++ ++

++

++

+

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 50

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Une meacutethode de classification (1)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes de poids eacutequivalents (wj = 1

m

Cj = Id)

Initialiser aleacuteatoirement les centres des classes Mj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =g(XiminusMj)

summ

k=1g(XiminusMk)

bull estimer le barycentre de chaque classe

Mj =sump

i=1aijXi

sumpi=1

aij

bull iteacuterer jusqursquoagrave stabilisation

Si des poids diffeacuterents

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 51

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Une meacutethode de classification (2)Classer les vecteurs Xi de la base drsquoapprentissage en mclasses Gaussiennes (Cj = Id)

Initialiser les centres des classes Mj et les poids wj

bull estimer lrsquoappartenance de chaque donneacutee agrave chaque

classe aij =wjg(XiminusMj)

summ

k=1wkg(XiminusMk)

bull estimer le centre de chaque classe Mj =sump

i=1aijXi

sump

i=1aij

bull estimer le poids de chaque classe wj =sump

i=1aij

summk=1

sumpi=1

aik

bull iteacuterer jusqursquoagrave stabilisation

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 52

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Deacutetection SVD multiple

A partir des reacutesultats de la classification il est possiblede geacuteneacuteraliser la deacutetection SVD au cas de lamodeacutelisation par un meacutelange de Gaussiennes

bull classification de la base drsquoapprentissage pour obtenirla modeacutelisation par un meacutelange de Gaussiennes

bull ACP sur chaque mode en utilisant la deacutecompositionSVD

bull Pour tester une image calculer chaque probabiliteacutedrsquoappartenir agrave un mode et sommer sur les m modespour obtenir la probabiliteacute totale drsquoecirctre lrsquoobjetrechercheacute

rArr Temps moyen= mtimes meacutethode SVD

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 53

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Seacuteparation lineacuteaire

Comment seacuteparer lineacuteairement les exemples positifs(Xi yi = +1) de ceux neacutegatifs (Xi yi = minus1)Chercher un hyperplan (W b) tel que yi(W

tXi + b) ge 1+

+

+

++

minus

minus

minus

minus

+

minus

minus

Xi

(W b)SV

2times marge

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 54

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Seacuteparation lineacuteaire marge max (1)

Plusieurs solutions rArr seacuteparation agrave marge maximale(Maximal Margin Classifier) Sur les vecteurs de supportW TX + b = plusmn1 rArr la marge drsquoun hyperplan (W b) est

1w

Chercher lrsquohyperplan (W b) qui minimise

1

2W TW

avec les contraintes (1 le i le p)

yi(WtXi + b) ge 1

Comment reacutesoudre cela efficacementIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 55

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Seacuteparation lineacuteaire marge max (2)

Minimisation sous contraintes rArr Lagrangien (Theacuteoregravemede Khun et Tucker)

J =1

2W TW minus

psum

i=1

αi(yi(WtXi + b) minus 1)

avec αi ge 0 multiplicateurs de Lagrange

bull Minimisation en W partJpartW

= 0 rArr W =sump

i=1 αiyiXi

bull Minimisation en b partJpartb

= 0 rArrsump

i=1 αiyi = 0

bull Maximisation en αi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 56

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Seacuteparation lineacuteaire marge max (3)La formulation duale du problegraveme est donc lamaximisation quadratique

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjXtiXj

avec les contraintes αi ge 0 etsump

i=1 αiyi = 0Fonction de classification solution

f(X) =

psum

i=1

yiαopti X t

iX + bopt

avec bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjXtiXj +

minyi=1

sumpj=1 αopt

j yjXtiXj)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 57

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Meacutethode SVM

Comment eacutetendre au cas non-lineacuteairerArr Remplacer le produit scalaire X tX prime par une mesurede dissimilariteacute un noyau K(XX prime) La formulationduale devient

L(αi) =

psum

i=1

αi minus1

2

psum

i=1

psum

j=1

yiαiyjαjK(Xi Xj)

avec αi ge 0 etsump

i=1 αiyi = 0 Fonction de classificationf(X) =

sumpi=1 yiα

opti K(Xi X) + bopt avec

bopt = minus12(maxyi=minus1

sumpj=1 αopt

j yjK(Xi Xj) +

minyi=1

sumpj=1 αopt

j yjK(Xi Xj))

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 58

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Interpreacutetation (1)

rArr Dans le plan lrsquoespace drsquoorigine les quatre points nesont pas lineacuteairement seacuteparables mais dans lrsquoespaceimplicite de dimension plus grande ils sont lineacuteairementseacuteparables

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 59

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Interpreacutetation (2)Seacuteparation lineacuteaire dans un espace implicite induit par lenoyau KExemple en 2D X = (x y) X prime = (xprime yprime) Noyaupolynomial de degreacute 2 K(XX prime) = (1 + X tX prime)2En deacuteveloppant

K(XX prime) =

1radic2xradic2y

x2radic

2xy

y2

t

1radic2xprime

radic2yprime

xprime2radic

2xprimeyprime

yprime2

rArr Crsquoest un produit scalaire en dimension 6Introduction agrave la deacutetection drsquoobjets dans les images ndash p 60

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Choix du Noyau SVM

bull Le noyau K est Mercer (ou positif) si par deacutefinition Pour tout p gt 0 et pour tout (Xi) 1 le i le p

psum

i=1

psum

j=1

cicjK(Xi Xj) ge 0

quelque soit ci 1 le i le p

bull Noyau Mercer rArr unicite de la solution SVM

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 61

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Choix de lrsquoeacutechelle

σ = 0001 27 SV σ = 001 26 SV

σ = 01 12 SV σ = 10 10 SV

Noyau Gaussien K(XX prime) = exp(minusXminusX prime2

σ2 ) Les mvecteurs de support (SV) sont les Xi avec un αi 6= 0

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 62

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Reacutesultats SVM

Noyau Laplacien K(XX prime) = exp(minusXminusX primeσ

) 200exemples positifs et 200 neacutegatifsTemps moyen= mtimes meacutethode par correacutelation m est pluspetit que p (p = 400 m = 146)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 63

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Approche graduelleEn pratique il est plus efficace de faire une deacutetectiongraduelle (coarse-to-fine) avec de plus en plus de SV

alarms=1171960 alarms=431960

alarms=301960 alarms=121960

alarms=21960

l=1 l=2

l=3 l=4

l=5alarms=21960

l=6

Extrait Hichem Sahbi [3]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 64

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 65

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

PreacutedeacutetectionIl est aussi possible de faire une chaicircne de deacutetecteursutilisant des repreacutesentation des images de plus en pluscomplegravetes Preacutedeacutetecteur deacutetecteur en deacutebut de chaicircne

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 66

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Avantages et difficulteacutes

Avantages

bull Meacutethode geacuteneacuterique il faut bien choisir le type designatures et la mesure de similariteacute

bull Ces choix sont une faccedilon drsquointroduire desconnaissances a priori

Difficulteacutes

bull Repreacutesentativiteacute de la base drsquoapprentissage et qualiteacute

bull Comment introduire drsquoautres connaissances a priori

rArr approches par modegravele parameacutetreacute

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 67

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Partie 4

1 Deacutetecter un objet modeacuteliseacute par une image

2 Deacutetecter un objet avec une modeacutelisation Gaussiennede la variabiliteacute de son aspect

3 Deacutetecter un objet avec une modeacutelisation SVM de lavariabiliteacute de son aspect

4 Deacutetecter un objet avec une modeacutelisation parameacutetreacuteede la variabiliteacute de son aspect

bull Reacutegression robuste

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 68

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Un nouvel exempleDeacutetection des marquages routiers par une cameacuteraembarqueacutee sur un veacutehicule

Extrait LIVIC [1]Introduction agrave la deacutetection drsquoobjets dans les images ndash p 69

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Repreacutesenter une courbe

x

y = a0 + a1x + a2x2 + a3x

3

y

Courbe 2D explicite de paramegravetre A

y =d

sum

i=0

fj(x)aj = X(x)tA

rArr lineacuteaire par rapport aux paramegravetres Si fj(x) = xjcrsquoest une courbe polynomialerArr simple problegraveme de reacutegression de courbeIntroduction agrave la deacutetection drsquoobjets dans les images ndash p 70

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Modeacuteliser les perturbations (1)

Mecircme image avec des perturbations diffeacuterentes

150 images Reacutefeacuterence donneacutee agrave la main

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 71

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Modeacuteliser les perturbations (2)Phi(tt)

Y x 103

3X x 10

00000

02000

04000

06000

08000

10000

12000

14000

16000

18000

20000

22000

24000

26000

28000

30000

32000

09000 09200 09400 09600 09800 10000 10200

-ln(phi(tt))Y

3X x 10

30000

35000

40000

45000

50000

55000

60000

65000

70000

75000

80000

85000

90000

95000

100000

105000

110000

09000 09200 09400 09600 09800 10000 10200

Les perturbations ne sont pas Gaussiennes ellessemblent plutocirct avoir une distribution du type Laplace

prob(x) = 12σeminus

|x|σ ougrave σ est lrsquoeacutechelle du bruit

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 72

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Reacutegression RobusteLa probabiliteacute drsquoavoir le point (xi yi) sachant que lacourbe a pour paramegravetres A est

probi((xi yi)A) prop eminus1

2φ((

XtiAminusyi

σ)2)

Principe du maximum de vraisemblance trouver Aqui maximise la probabiliteacute des donneacutees Apregravesapplication de la fonction minuslog crsquoest eacutequivalent agravetrouver le vecteur de paramegravetres qui minimise lrsquoerreur

e(A) =i=nsum

i=1

φ((X t

iA minus yi

σ)2)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 73

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Moindres carreacutes iteacutereacutes

Initialiser le vecteur de paramegravetres A

bull Calculer la pondeacuteration des donneacutees

wi = φprime(Xti Aminusyi

σ)2

bull Calculer le vecteur de paramegravetres en reacutesolvant lesystegraveme lineacuteaire

sumi=ni=1 wiXiX

tiA =

sumi=ni=1 wiXiyi

bull Iteacuterer jusqursquoagrave stabilisation

rArr Conseacutequence du theacuteoregraveme de Khun et TuckerrArr Convergence graduelle en faisant deacutecroicirctre σ vers lavaleur correcte

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 74

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Reacutesultats

Gauss Cauchy

Bruit de Cauchy prob(x) prop 1

1+ x2

σ2

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 75

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Suivi

Deacutetection et suivi de la voie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 76

Conduite Automatique

Extraits LIVIC

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 77

Deacutetection drsquoaccident

Quel modegravele

Extraits INRETSCITILOG (wwwcitilogfr)

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 78

Recommandations

bull Il faut choisir avec une grande attention lrsquoobjet quelrsquoon veut deacutetecter dans les images pour chaqueapplication

bull Il faut bien modeacuteliser les perturbations pour mieuxchoisir les types drsquoalgorithmes et leurs paramegravetres

bull Il faut essayer de poser le problegraveme comme uneoptimisation car cela permet souvent drsquoappliquer letheacuteoregraveme de Kuhn et Tucker (dualiteacute) et permet dedeacuteriver des algorithmes ayant une convergencerapide et garantie

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 79

References[1] Anonymous 2002

[2] N Cristianini and J Shawe-Taylor An Introduction to Support Vector Machines (and other kernel

based learning methods) Cambridge University Press 2000

[3] H Sahbi D Geman and N Boujemaa Face detection using coarse-to-fine support vector

classifiers In Proceedings of the IEEE International Conference on Image Processing pages

925ndash928 2002 httpwww-rocqinriafr sahbi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 80

• Plan
• Partie 1
• Exemple simple
• Meacutethode par correacutelation (1)
• Meacutethode par correacutelation (2)
• Deacutetection par correacutelation
• Choix du seuil de deacutecision
• Comparaison de deux deacutetecteurs
• Comparaison de deux deacutetecteurs
• Choix de la distance
• LaplaceGauss (1)
• LaplaceGauss (1)
• LaplaceGauss (2)
• Limites de la correacutelation
• Detection des contours
• Transformee de Hough
• Transformee de Hough en polaire
• Methode Hough generalisee (1)
• Methode Hough generalisee (2)
• Introduction de la tangente
• Avec ou sans tangente
• Hough generalisee
• Perturbations dans les images (1)
• Perturbations dans les images (2)
• Partie 2
• Modeacutelisation de la variabiliteacute
• Approches possibles
• Exemple reacutealiste
• Vocabulaire en apprentissage (1)
• Vocabulaire en apprentissage (2)
• Base dapprentissage
• Masquage
• Choix de la signature
• Modelisation Gaussienne (1)
• Modelisation Gaussienne (2)
• ACP (1)
• ACP (2)
• ACP (3)
• Methode SVD de detection (1)
• Methode SVD de detection (2)
• Vecteurs propres
• Reconstruction
• Resultats detection SVD
• Resultats de detection
• Partie 3
• Base dapprentissage plus riche
• Modelisation par un melange (1)
• Modelisation par un melange (2)
• Classification
• Une methode de classification (1)
• Une methode de classification (2)
• Deacutetection SVD multiple
• Seacuteparation lineacuteaire
• Seacuteparation lineacuteaire marge max (1)
• Seacuteparation lineacuteaire marge max (2)
• Seacuteparation lineacuteaire marge max (3)
• Meacutethode SVM
• Interpreacutetation (1)
• Interpreacutetation (2)
• Choix du Noyau SVM
• Choix de leacutechelle
• Reacutesultats SVM
• Approche graduelle
• Preacutedeacutetection
• Preacutedeacutetection
• Avantages et difficulteacutes
• Partie 4
• Un nouvel exemple
• Repreacutesenter une courbe
• Modeacuteliser les perturbations (1)
• Modeacuteliser les perturbations (2)
• Reacutegression Robuste
• Moindres carreacutes iteacutereacutes
• Reacutesultats
• Suivi
• Conduite Automatique
• Deacutetection daccident
• Recommandations

References[1] Anonymous 2002

[2] N Cristianini and J Shawe-Taylor An Introduction to Support Vector Machines (and other kernel

based learning methods) Cambridge University Press 2000

[3] H Sahbi D Geman and N Boujemaa Face detection using coarse-to-fine support vector

classifiers In Proceedings of the IEEE International Conference on Image Processing pages

925ndash928 2002 httpwww-rocqinriafr sahbi

Introduction agrave la deacutetection drsquoobjets dans les images ndash p 80

• Plan
• Partie 1
• Exemple simple
• Meacutethode par correacutelation (1)
• Meacutethode par correacutelation (2)
• Deacutetection par correacutelation
• Choix du seuil de deacutecision
• Comparaison de deux deacutetecteurs
• Comparaison de deux deacutetecteurs
• Choix de la distance
• LaplaceGauss (1)
• LaplaceGauss (1)
• LaplaceGauss (2)
• Limites de la correacutelation
• Detection des contours
• Transformee de Hough
• Transformee de Hough en polaire
• Methode Hough generalisee (1)
• Methode Hough generalisee (2)
• Introduction de la tangente
• Avec ou sans tangente
• Hough generalisee
• Perturbations dans les images (1)
• Perturbations dans les images (2)
• Partie 2
• Modeacutelisation de la variabiliteacute
• Approches possibles
• Exemple reacutealiste
• Vocabulaire en apprentissage (1)
• Vocabulaire en apprentissage (2)
• Base dapprentissage
• Masquage
• Choix de la signature
• Modelisation Gaussienne (1)
• Modelisation Gaussienne (2)
• ACP (1)
• ACP (2)
• ACP (3)
• Methode SVD de detection (1)
• Methode SVD de detection (2)
• Vecteurs propres
• Reconstruction
• Resultats detection SVD
• Resultats de detection
• Partie 3
• Base dapprentissage plus riche
• Modelisation par un melange (1)
• Modelisation par un melange (2)
• Classification
• Une methode de classification (1)
• Une methode de classification (2)
• Deacutetection SVD multiple
• Seacuteparation lineacuteaire
• Seacuteparation lineacuteaire marge max (1)
• Seacuteparation lineacuteaire marge max (2)
• Seacuteparation lineacuteaire marge max (3)
• Meacutethode SVM
• Interpreacutetation (1)
• Interpreacutetation (2)
• Choix du Noyau SVM
• Choix de leacutechelle
• Reacutesultats SVM
• Approche graduelle
• Preacutedeacutetection
• Preacutedeacutetection
• Avantages et difficulteacutes
• Partie 4
• Un nouvel exemple
• Repreacutesenter une courbe
• Modeacuteliser les perturbations (1)
• Modeacuteliser les perturbations (2)
• Reacutegression Robuste
• Moindres carreacutes iteacutereacutes
• Reacutesultats
• Suivi
• Conduite Automatique
• Deacutetection daccident
• Recommandations