N Découvertes n Présentation des équipes et des projets n 3- Extraction des primitives u 3.1...

Preview:

Citation preview

DécouvertesPrésentation des équipes et des

projets

3- Extraction des primitives3.1 Caractéristiques 3D et 2D3.2 Arêtes3.3 Gradient et arêtes orientées Gradient - moyenneur

Amincissement des arêtes Canny-Deriche Arêtes orientées

Cours 7-8 3- Extraction des

primitives

Cours #7-8 - 2SYS-844Hiver 2005

3- Extraction des primitives (suite) … 3.4 Modèles paramétriques 3.5 Passages par zéro de la dérivée

seconde 3.6 Détection multirésolution

Cours #7-8 - 3SYS-844Hiver 2005

Forum

Cours #7-8 - 4SYS-844Hiver 2005

Découvertecours 7

Haralick & Shapiro, Computer and Robot Vision, Volume 1 et 2, Addison-Wesley,1992 et 1993. Traitement complet de la vision par ordinateur Approche mathématique Texture Appendice vol. 1: ellipse Knowledge-based vision

Cours #7-8 - 5SYS-844Hiver 2005

Découvertecours 8

T. Lindberg, Scale-Space Theory in Computer Vision, Kluwer Academic,1994. Aspects théoriques de la représentation

multirésolution Plusieurs approches originales et intéressantes

Henri Maître, Le traitement des images, Hermes, 2003 Collectif d’auteurs reconnus dans leur domaine Vue d’ensemble du traitement d’images

Traitement Restauration

Champs de Markov Ondelettes Contours actifs Texture Vision

Chapitre 3 Extraction des primitives

L’extraction des primitives est le premier traitement réalisé sur l’image filtrée et conditionnée. Nous allons d’abord nous intéresser aux arêtes, ces variations brusques de l’éclairement lumineux. Puis, nous nous intéresserons aux regroupements de ces arêtes à plus grande échelle, pour former des lignes, des contours, des courbes, etc.

Cours #7-8 - 7SYS-844Hiver 2005

3.1 Caractéristiques 3D et 2D

Ce qui permet de différencier un objet 3D: Contour (forme du contour) Changement d’orientation de surface Marques sur la surface (texture)

En résumé, les discontinuitésDu processus de formation des images:

E∝ L

∇E∝ ∇L

E =π4df

⎣ ⎢ ⎤

⎦ ⎥

2

cos4α ⋅L

EI =df

⎛ ⎝ ⎜ ⎞

⎠ ⎟

2

cos4αEo4

cosθi

Cours #7-8 - 8SYS-844Hiver 2005

Sortes de discontinuités

Cours #7-8 - 9SYS-844Hiver 2005

3.2 Arêtes

Attributs 3D arêtes 2D Orientation de surface Variation de profondeur Ombrage Réflectance de surface

Bruit de mesure arêtes 2D

Cours #7-8 - 10SYS-844Hiver 2005

Limitations de la détection des arêtes Les arêtes 2D n’indiquent pas le

type d’attribut 3D Certaines caractéristiques 3D

perceptuelles ne sont pas traduites en arêtes

Cours #7-8 - 11SYS-844Hiver 2005

Objectifs de la détection d’arêtes Extraction des arêtes significatives Regroupement en lignes, courbes

et contours

Cours #7-8 - 12SYS-844Hiver 2005

Catégories d’arêtes

Échelon Rampe Barre

Crête Point (eg spot

lumineux)

Cours #7-8 - 13SYS-844Hiver 2005

Détection d’arêtes dans le bruit

Cours #7-8 - 15SYS-844Hiver 2005

Algorithme général d’extraction des primitives Calcul des variations d’éclairement Détection des arêtes (seuillage) Amincissement Regroupement

Cours #7-8 - 16SYS-844Hiver 2005

Cours #7-8 - 17SYS-844Hiver 2005

Calcul des variations d’éclairement Gradient (dérivée première) Passage par zéro (dérivée seconde)

I

∇I

∇2I

Caractéristique de scène (variation de la normale à lasurface) et sa traduction sur l’image d’illuminance I. Lavariation d’illuminance peut être détectée soit comme unmaximum de la dérivée première de l’image, ou soit com-me un passage par zéro de la dérivée seconde.

Cours #7-8 - 18SYS-844Hiver 2005

3.3 Méthodes basées sur le gradient

Cours #7-8 - 19SYS-844Hiver 2005

3.3.1 Gradient d’une image

v ∇ I x,y( )= Δx x,y( ),Δy x,y( )( )

avec Δx=∂∂xI x,y( )

et Δy=∂∂yI x,y( )

v ∇ I = vecteur avec

une amplitude s= Δ2x+Δ2y

une orientation θ=tan−1 ΔyΔx

⎛ ⎝

⎞ ⎠

Approximation: ∂∂x

⇒ Différence selon x

Cours #7-8 - 20SYS-844Hiver 2005

Interprétation géométrique du gradient

Cours #7-8 - 21SYS-844Hiver 2005

3.3.2 Masques 1x2

-1 1

-1

1

∂∂x

=Δx

∂∂y

=Δy

∇I x,y( )≅Δx OU Δy

Cours #7-8 - 22SYS-844Hiver 2005

Formation de x et y

Cours #7-8 - 23SYS-844Hiver 2005

Approximation de l’amplitude du gradient

Cours #7-8 - 24SYS-844Hiver 2005

dérivation accentue le bruit

Cours #7-8 - 25SYS-844Hiver 2005

Combinaison différentiation - filtre moyenneur

Cours #7-8 - 26SYS-844Hiver 2005

Cours #7-8 - 27SYS-844Hiver 2005

Cours #7-8 - 28SYS-844Hiver 2005

3.3.3 Masque moyenneur-différentiateur Masques de base:

Sobel Prewitt

Cours #7-8 - 29SYS-844Hiver 2005

Quelques masques supplémentaires

Cours #7-8 - 30SYS-844Hiver 2005

Effets de la grosseur des zones de moyennage Utilisation de deux masques orthogonaux

Cours #7-8 - 31SYS-844Hiver 2005

Effets de l’augmentation de la zone de moyennage

Cours #7-8 - 32SYS-844Hiver 2005

Pondération uniforme, non-uniforme et sans pondération

Cours #7-8 - 33SYS-844Hiver 2005

Effets sur les coins

Masque de 11x11 avecpondération uniforme

Cours #7-8 - 34SYS-844Hiver 2005

Détection d’arêtesmasque de 11x11

Cours #7-8 - 35SYS-844Hiver 2005

Vecteurs gradients: arrondissement du coin

Cours #7-8 - 36SYS-844Hiver 2005

Effets sur une image plus complexe

Cours #7-8 - 37SYS-844Hiver 2005

Masque de 7x7

Cours #7-8 - 38SYS-844Hiver 2005

Résumé: effets de la largeur de masque

Cours #7-8 - 39SYS-844Hiver 2005

Grandeur optimale: 3x3 Moyennage le long de l’arête et

différentiation à travers l’arête Si l’arête est orientée différemment

de 0o ou 90o, celle-ci sera filtrée, d’où une amplitude plus petite du gradient

Solution: masque de Sobel orienté selon plusieurs directions

• Filtrage raisonnable• Détection symétrique

Cours #7-8 - 40SYS-844Hiver 2005

Cours #7-8 - 41SYS-844Hiver 2005

3.3.4 Détecteur de Canny Principe détection optimale

d’arêtes bruitées Critères

Bonne détection• Minimiser prob. de faux positifs• Minimiser prob. de ne pas détecter une

vraie arête Bonne localisation Contrainte de réponse unique

• Minimiser le nombre de maxima locaux autour de la vraie arête

Opérateur optimalFiltre RIF complexe, approximé par: dérivée première de gaussienne

Cours #7-8 - 42SYS-844Hiver 2005

Algorithme Filtrer l’image par une gaussienne

Dérivée première de l’image filtrée

Amplitude et direction du gradient

Maximum local dans la direction du gradient

• Algorithme: amincissement des arêtes

Seuillage avec hystérésisG x,y( ) >τh ⇒ arête gardée

G x,y( ) <τl ⇒ arête rejetée

τl ≤G x,y( )≤τh ⇒ gardée si dans direction

des gradients voisins

Cours #7-8 - 43SYS-844Hiver 2005

Variante Canny-Deriche Filtre optimal de Canny:

Forme complexe, approximée par une dérivée de gaussienne(20% de perte de performance)

RIF de largeur 2M• largeur varie en fct de la fréq. coupure

Filtre optimal de Deriche Filtre récursif RII

• Largeur fixe• Forme 1D• Forme 2D,

séparable

Performances supérieures Valeurs typiques:

h(x) = ce−α x sinωx

X(m,n) =−ce−α m sinωm[ ] k(α sinω n + ω cosω n )e−α n

[ ]

α 2 + ω2

Y (m,n) =k(α sinω m + ω cosω m )e−α m

[ ] −ce−α n sinωn[ ]

α 2 + ω2

α =1,6

ω = 0,01

Comparaison filtres Deriche vs Canny

Extension du filtre de Deriche en 2D

Cours #7-8 - 46SYS-844Hiver 2005

Amincissement des arêtes Principe: Opérateur large

réponse multiple

Cours #7-8 - 47SYS-844Hiver 2005

Analyse locale pour supprimer les arêtes redondantes

Cours #7-8 - 48SYS-844Hiver 2005

Analyse locale

Modèle en toit de l’arête

Appariement avec le modèle en toit:

• rejet des 2 arêtes enlignées (évite la compétition)

• rejet des orientations différentes (possibilité de jonction)

• rejet des directions (signe) différentes (pas modèle en toit)

Cours #7-8 - 49SYS-844Hiver 2005

Algorithme 1- Fenêtre de sélection:

ne sont pas considérés: 1 arêtes alignées 2 arêtes d’orientation différente 3 arêtes de même orientation

mais de direction (signe) opposée

2- Suppression des non-maximaux

3- Seuillage (en option)

1

1

2

3

3

( ) ( ) ( )mnEjiEjiE mn ,, si 0,restant

, <∀=

Cours #7-8 - 50SYS-844Hiver 2005

exemple

Cours #7-8 - 51SYS-844Hiver 2005

3.3.5 Détection d’arêtes orientées Principe: Détection d’arêtes selon

plusieurs directionsSortie maximale:

détecteur i indique l’orientation et l’amplitude de l’arête

Opérateur:NO

O

SO S SE

E

NEN

Cours #7-8 - 52SYS-844Hiver 2005

Masques Sobel

S=maxnMn

n:0L 7

θ=45o ×indexmaxMn{ }

Cours #7-8 - 53SYS-844Hiver 2005

Cours #7-8 - 54SYS-844Hiver 2005

Cours #7-8 - 55SYS-844Hiver 2005

Prewitt 1 et 2 Kirsch Frei & Chen

Cours #7-8 - 56SYS-844Hiver 2005

Nevatia-Babu

Cours #7-8 - 57SYS-844Hiver 2005

3.4 Modèles paramétriques Principe:

Image traitée comme une surface I(x,y) Z(x,y)

Apparier une surface paramétrique approximant I(x,y) dans un voisinage

Gradients calculés sur la surface paramétrique

Cours #7-8 - 58SYS-844Hiver 2005

Surfaces paramétriques Constante Plane (la plus commune) ax+by+c Quadratique Cubique

Appariement: Moindres carrés

Z i, j( )−I i, j( )( )2

i, j( )∈N∑

Cours #7-8 - 59SYS-844Hiver 2005

Appariement à une surface plane Équation d’un plan: I(i,j)=ai+bj+c I(i,j)=c pour les surfaces horizontales a et b grands aux arêtes a et b approximent le gradient dans les

directions i et j respectivement

Cours #7-8 - 60SYS-844Hiver 2005

Appariement par moindre carrés

Z i, j( )=ai+bj+c

erreur=Z i, j( )−I i, j( )

Cours #7-8 - 61SYS-844Hiver 2005

Cours #7-8 - 62SYS-844Hiver 2005

Équations d’appariement par moindre carrés

Z i, j( )=ai+bj+c

2 3

41

j j+1

i

i-1

ε2 = ai+bj+c( )−I i, j( )[ ]2

+ a i−1( )+bj+c( )−I i−1, j( )[ ]2

+ a i−1( )+b j+1( )+c( )−I i−1, j+1( )[ ]2

+ ai+b j+1( )+c( )−I i, j+1( )[ ]2

1

2

3

4

Cours #7-8 - 63SYS-844Hiver 2005

∂ε∂a

=i ai+bj+c( )−I i, j( )[ ]

+ i−1( ) a i−1( )+bj+c( )−I i−1, j( )[ ]

+ i−1( ) a i−1( )+b j+1( )+c( )−I i−1, j+1( )[ ]

+i ai+b j+1( )+c( )−I i, j+1( )[ ]=0

∂ε∂b

=L =0

∂ε∂c

=L =0

a: pente du plan dans direction i

b: pente du plan dans direction j

c: interception de z

Cours #7-8 - 64SYS-844Hiver 2005

( ) ( ) ( ) ( ){ }2

1,,1,1,1 ++−+−+−=

jiIjiIjiIjiIa

( ) ( ) ( ) ( ){ }2

,1,1,11, jiIjiIjiIjiIb

−+−+−++=

-1 1

1-1

j j+1

i

i-1

1 1

-1-1

j j+1

i

i-1

Cours #7-8 - 65SYS-844Hiver 2005

Variantes Extension à un voisinage 3x3

Surface: quadratique Masque: Prewitt

Modèle « Facet » de HaralickImage: Image idéale + bruit

Cours #7-8 - 66SYS-844Hiver 2005

3.5 Passages par zéro

Méthodes basées sur le passage par zéro de la dérivée seconde de la fonction d’éclairement

Cours #7-8 - 67SYS-844Hiver 2005

3.5.1 Opérateurs de dérivée seconde Principe: Détection du passage

par zéro de la dérivéeseconde

Cours #7-8 - 68SYS-844Hiver 2005

Masques Anisotrope (directionnel)

Cours #7-8 - 69SYS-844Hiver 2005

1 -2 1

1

-2

1

∂ 2I∂x2

∂ 2I∂y2

Cours #7-8 - 70SYS-844Hiver 2005

Isotrope (indépendant de l’orientation)• Laplacien (réf. 2.2.6)

∇2I -4

1

1

11

– Détecteur isotrope du second ordre le plus petit possible

– On doit combiner 2 masques orthogonaux pour obtenir un détecteur isotrope de premier ordre

• Le laplacien est un opérateur très bruyant à cause du calcul de dérivée seconde

Cours #7-8 - 71SYS-844Hiver 2005

3.5.2 Laplacien moyenneur Principe: Calculer le laplacien sur

un masque de plus grande dimension

• effet de moyennage • problèmes d’élargissement de

transition identiques à gradient• condition imposée: poids = 0

Cours #7-8 - 72SYS-844Hiver 2005

Laplacien5x5

Laplacien9x9

Cours #7-8 - 73SYS-844Hiver 2005

Laplacien 9x9 Représentation 3D

Cours #7-8 - 74SYS-844Hiver 2005

Exemples

Interprétation

∇2I =I i+1, j( )+I i−1, j( )+I i, j+1( )+I i, j−1( )

sommation dans une fenêtre1 2 4 4 4 4 4 4 4 3 4 4 4 4 4 4 4 −4I i, j( )

∇2I =I i+1, j( )+I i−1, j( )+I i, j+1( )+I i, j−1( )+I i, j( )−5I i, j( )

∇2I =−5 I i, j( )− Moyenne sur fenêtre{ }

∇2I =−K I i, j( )−F I i, j( )[ ]{ }

avec F: filtre dans le voisinage de NxN

Cours #7-8 - 76SYS-844Hiver 2005

Applications Détection d’arêtes par passage par zéro Rehaussement du contraste (réf. 2.2.6)

Image brouilléeGaussien 3x3

Image rehausséeLaplacien 3x3

Cours #7-8 - 77SYS-844Hiver 2005

3.5.3 Laplacien de gaussienne

appelé aussi: Opérateur de Marr-HildrethDifférence de GaussiennesChapeau mexicain

Principe: Les variations d’éclairement sont détectées à

plusieurs échelles spatiales Il n’existe pas d’opérateur à taille fixe qui est

effectif à toutes ces échelles Détection optimale opérateur de taille

variable avec un filtre gaussien

Cours #7-8 - 78SYS-844Hiver 2005

Algorithme Choix de l’échelle ( (croissant) de

la gaussienne)

Laplacien de l’image filtrée

Détection des passages par zéro

G∗I

∇2 G∗I( )= ∇2G( )∗I

∇2G x,y( )=−1πσ 4

1−x2 +y2( )2σ 2

⎣ ⎢ ⎤

⎦ ⎥ e

−x2+y2

( )

2σ2

⎣ ⎢

⎦ ⎥

Cours #7-8 - 79SYS-844Hiver 2005

Opérateur chapeau mexicain

que l’on peut approximer par une différence de gaussiennes

∇2G x,y( )=−1πσ 4

1−x2 +y2( )2σ 2

⎣ ⎢ ⎤

⎦ ⎥ e

−x2+y2

( )

2σ2

⎣ ⎢

⎦ ⎥

∇2Gσ x,y( )=LoG≅DoGσe,σ i( )

DoG=1

2πσ e

e

− x2+y2( )

2σe2

−1

2πσ i

e

− x2+y2( )

2σ i2

avec σ i

σe

=1,6

W=2 2σ

Cours #7-8 - 80SYS-844Hiver 2005

W=2 2σ

∇2Gσ x,y( )=LoG≅DoGσe,σ i( )

DoG=1

2πσ e

e

− x2+y2( )

2σe2

−1

2πσ i

e

− x2+y2( )

2σ i2

avec σ i

σe

=1,6

Cours #7-8 - 81SYS-844Hiver 2005

Exemples de masques de LoG

Cours #7-8 - 82SYS-844Hiver 2005

Chapeau mexicain (LoG)22

Cours #7-8 - 83SYS-844Hiver 2005

Cours #7-8 - 84SYS-844Hiver 2005

Implantation Aphelion Différence de gaussienne Attention: Le rapport 1,6 n’est pas

calculé automatiquement

Cours #7-8 - 85SYS-844Hiver 2005

Quelques exemples

Mission de Santa Fechapeau mexicain 13x13

Cours #7-8 - 86SYS-844Hiver 2005

Chapeau mexicain 5x5

Cours #7-8 - 87SYS-844Hiver 2005

Cours #7-8 - 88SYS-844Hiver 2005

Chapeau mexicain 13x13 Seuil positif

Seuil négatif Passages par zéro

Cours #7-8 - 89SYS-844Hiver 2005

Chapeau mexicain 17x17 Seuil positif

Passages par zéroSeuil négatif

Cours #7-8 - 91SYS-844Hiver 2005

Extraction à plusieurs résolutions spatiales

Pour des valeurs de suffisamment éloignés, les ZCs ne sont pas reliés sauf:

• Les arêtes 3D de l’objet 3D imagé apparaissent comme des ZCs dans 2 images d’arêtes consécutives ou plus

• Les ZCs coïncidents disparaissent pour un augmentant lorsque:

– 2 arêtes locales ou plus fusionnent par moyennage ou

– 2 phénomènes indépendants produisent des arêtes dans la même région de l’image mais à des échelles spatiales différentes

Cours #7-8 - 93SYS-844Hiver 2005

3.6 Détection multirésolution d’arêtes

Principes: Détection des arêtes à plusieurs

résolutions Les arêtes correspondent à des

caractéristiques 3D qui apparaissent à plus d’une échelle

On débute à basse résolution Moins d’arêtes bruitées Mais aussi moins bien localisées

On projète à haute résolution

Cours #7-8 - 94SYS-844Hiver 2005

Analyse à échelle spatiale continue.Le signal du bas représente un signal temporel dont on v eut étudier le comporte-ment des passages par zéro de la déri vée seconde en fonction de l’échelle d’analy-se, soit la fréquence de coupure du fi ltre passe-bas. Le graphique du haut illustrele comportement des passages par zéro de la déri vée seconde (maximums/mini-mums locaux de la courbe du bas) en fonction de l’échelle spatiale. Le signal est deplus en plus fi ltré à mesure qu’on progresse le long de l’échelle spatiale. Le graphi-que montre qu’il y a de moins en moins de passages par zéro à mesure que la réso-lution spatiale est diminuée. Il n’y a pas de création de nouveaux passages par zérolorsqu’il y a diminution de la résolution.

Amplitude

Temps

Temps

Cours #7-8 - 95SYS-844Hiver 2005

Image d’entrée

Arêtes bien localiséesmais bruyantes (petit σ)

(Illuminance)

Niveau à hauterésolution

Arêtes mallocalisées (grand σ )

Niveau à basserésolution

Représentation multi-résolution des caractéristiques (arêtes) d’une image d’illumi-nance. La représentation à un niveau donné de résolution spatiale s’obtient en filtrantl’image d’illuminance avec un fi ltre passe-bas puis en détectant les caractéristiquesde l’image filtrée.

Cours #7-8 - 96SYS-844Hiver 2005

Algorithmes Bergholm

Échelle continue Changement de pour assurer

qu’une arête ne se déplace pas de plus d’un pixel

Lindeberg Signaux discrets

Cours #7-8 - 97SYS-844Hiver 2005

3.7 Squelettisation

Recommended