TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 1

TRAITEMENT des IMAGES

et

VISION par MACHINE

MASTER PRO INFO

2011/2012

Jean-Marc Vézien

Jean-Marc.Vezien@limsi.fr

Jean-Marc

Vezien

Vision par Machine 2

V. SYSTEME VISUEL

HUMAIN

Jean-Marc

Vezien

Vision par Machine 3

V. SYSTEME VISUEL HUMAIN

• Le système visuel humain fait du traitement

d'images. Etudier → simuler son action.

• Image numérique sera vue et analysée par l'oeil

humain.

Pourquoi l’étudier ?

Système optique

Photo- récepteurs

inhibition latérale

cortex

visuel

Source lumineuse

OEIL

rétine

nerf optique

Corps Grenouillé

Latéral

(CGL)

Principaux constituants:

Perception

Stéréo

Jean-Marc

Vezien

Vision par Machine 4

V. SYSTEME VISUEL HUMAIN

L’œil:

•une tunique sensorielle, la rétine:

- couche externe: l'épithélium pigmentaire,

- couche interne = cellules sensorielles:

Cônes + Bâtonnets.

• une tunique fibreuse = "coque" de l'oeil :

- cornée transparente,

- sclérotique opaque,

• une tunique vasculaire, l'uvée:

- la choroïde tapissant la sclérotique,

- les corps ciliaires,

- l'iris, en avant, percé de la pupille,

Jean-Marc

Vezien

Vision par Machine 5

V. SYSTEME VISUEL HUMAIN

La zone rétinienne = "macula".

Deux types de récepteurs:

• Les cônes = vision diurne (photopique).

≈ six millions de cônes dans la rétine.

3 types différents appelés alpha, bêta, gamma.

concentrés sur la fovéa (ou tache jaune), - de 5° !

• Les bâtonnets = perception en NB de la vision

nocturne (scotopique) ≈ cent millions

1 seul type, détecteurs les + sensibles (saturés en

lumière diurne).

Jean-Marc

Vezien

Vision par Machine 6

V. SYSTEME VISUEL HUMAIN

• Cornée + cristallin = lentille convergente

→ rétine

• Photons → cellules réceptrices de la rétine

(pigment rétinien).

• Réactions chimiques modifiant la polarisation de

la cellule, transmission de cette polarisation =

influx nerveux.

→ l'aire de réception corticale où le signal est

interprété.

Sensibilité: λ= 380 et 750 nm

• différentes couleurs grâce aux cônes.

3 types = l'intégration de la lumière perçue dans la

totalité du spectre sur 3 composantes.

• cônes et bâtonnets = premiers neurones

108 photorécepteurs → 800 000 terminaisons à la

sortie du nerf optique : compression de l'ordre de

100 par câblage.

Jean-Marc

Vezien

Vision par Machine 7

V. SYSTEME VISUEL HUMAIN

-6 -4 -2 0 2 4

log de la luminance en mL

Luminosité subjective ( nb d'impulsions émises par les photorécepteurs)

seuil scotopique

limite de clarté

réponse instantanée à adaptation

constante

relative à cette

luminance

cônes

bâtonnets

réponses statiques

adaptation à la lumière

adaptation à l'obscurité

oeil = une grande capacité d'adaptation, sensible à

une plage de 104 à 10-4 mW (cônes + bâtonnets)

• réponse logarithmique

• en réponse statique, grande sensibilité

• en dynamique, sensibilité moindre

Jean-Marc

Vezien

Vision par Machine 8

V. SYSTEME VISUEL HUMAIN

Lumière

LOG

LOG

LOG

LOG

LOG

-

-

-

-

+

a 2

a 1

a 0

a 1

a 2

cône

central

couche de photorécepteurs

signal disponible à la sortie des

cônes

inhibition latérale

a 2

a 1

a 0

a 1

a 2

• Inhibition latéral des cônes:

Si un cône reçoit de la lumière → réponse

positive sur sa terminaison nerveuse.

+ inhibe l'activité de ses voisins (mise en

valeur de son information).

ai

i1

n

Ei

Réponse d’un cône =

champ récepteur du cône

Jean-Marc

Vezien

Vision par Machine 9

V. SYSTEME VISUEL HUMAIN

Distance sur la rétine

Stimulus

Réception

Illustration:

+ + + + + + +

circulaire allongé

D’autres opérations sont effectuées =

formes de champs récepteurs non symétriques:

Câblage vers des cellules « hypercomplexes » du cortex:

Détection en parallèle de lignes particulières

(orientation + longueur)

Jean-Marc

Vezien

Vision par Machine 10

V. SYSTEME VISUEL HUMAIN

Psychophysique:

étude de la vision en « boîte noire »

fond : B

B + B

• Perception des contrastes absolus:

B/B ( seuil de perception)

constante

2%

B pieds lambert 10

2 10

0 10

2 10

4

Note: 1 pied-lambert = 3.37 candela / m2

Jean-Marc

Vezien

Vision par Machine 11

V. SYSTEME VISUEL HUMAIN

fond : B0

B B + B

• Perception des contrastes simultanés:

B/B ( seuil de perception)

B pieds lambert 10

2 10

0 10

2 10

4

Courbes à

B0 = Cste.

B/B ≠ constante: la réponse n’est plus en log.

Cause: inhibition latérale des cônes

Jean-Marc

Vezien

Vision par Machine 12

V. SYSTEME VISUEL HUMAIN

S(w)/E(w) = H(w) = fonction de transfert de

modélisation

Fonction de transfert du système visuel:

analyse d'un système linéaire:

signal sinusoïdal

E(w) S(w)

signal sinusoïdal ?

N cycles

w = fréquence spatiale, en cycles / degrés.

Jean-Marc

Vezien

Vision par Machine 13

V. SYSTEME VISUEL HUMAIN

B2/B1

Log

(en cycles par degrés) 0.6 6 60

B1 = constante

: Sensibilité relative

Expérience de Robson :

présenter sur une même image deux échantillons

de sinusoïdes verticales (en fait des exponentielles

de sinusoïdes).

LogB

)sin( 110 tBBe

)sin( 220 tBBe

2 échantillons côte à côte:

• signal de référence: amplitude

B1

• un signal d’entrée: amplitude B2

à ajuster manuellement

Système linéaire →

B2/B1=constante pour ω fixés.

Vrai sauf pour les fréquences

élevées.

Jean-Marc

Vezien

Vision par Machine 14

V. SYSTEME VISUEL HUMAIN

LOG système linéaire lumière perception

Modélisation: système homomorphique:

bande passante = 60 cycles par degrés.

Le maximum de sensibilité ≈ 6 cycles par degré.

Jean-Marc

Vezien

Vision par Machine 15

V. SYSTEME VISUEL HUMAIN

• Illusions: mise en évidence du filtrage humain

Bandes de Mach: inhibition latérale

Jean-Marc

Vezien

Vision par Machine 16

V. SYSTEME VISUEL HUMAIN

Contraste simultané:

Cônes très inhibés

par leur voisin

reçoivent

beaucoup

d'énergie de la

zone claire.

Faible inhibition

→ signal plus fort

en sortie

Jean-Marc

Vezien

Vision par Machine 17

V. SYSTEME VISUEL HUMAIN

Contraste simultané + contexte:

Jean-Marc

Vezien

Vision par Machine 18

V. SYSTEME VISUEL HUMAIN

• Perception des couleurs:

Sources:

spectres continus

ou discrets.

• le système visuel = trois types de cônes :

alpha, bêta, gamma.

)( )( 1

0.5

longueur d'ondes en mm

sensibilité relative

450 500 550 600

)(

Si pas de composante spectrale dans leurs spectres,

onde invisible (rayon X, I.R.)

violet bleu vert jaune rouge

Jean-Marc

Vezien

Vision par Machine 19

V. SYSTEME VISUEL HUMAIN

Corps genouillé latéral: trois types de

cellules: A, C1 et C2.

• cellules A : excitées par les 3 types de cônes.

Ils sont sensibles à la luminance de la couleur.

• cellules C1 : excitées par le rouge et inhibées

par le vert ou réciproquement (cônes alpha et

bêta)

• cellules C2: excitées par le jaune et inhibées

par le bleu, ou réciproquement (cônes bêta et

gamma)

Couleur = information tridimensionnelle,

obtenu par composite (excitation et

inhibition)

Jean-Marc

Vezien

Vision par Machine 20

V. SYSTEME VISUEL HUMAIN

• Colorimétrie: étude quantitative de la couleur

Loi de Grassman:

Toute couleur est une combinaison linéaire de

trois couleurs primaires indépendantes:

U.u = A.a + B.b + C.c

U = couleur à analyser

A,B,C = trois couleurs primaires

a,b,c,u sont des réels

a/u, b/u, c/u = coefficients de tristimulus.

Normalisation: A+B+C = blanc

Jean-Marc

Vezien

Vision par Machine 21

V. SYSTEME VISUEL HUMAIN

• Expérience de Grassman:

B b

C c

A a

U u

Potentiomètres

La plupart des couleurs U obtenues.

Cependant il existe des couleurs impossibles à

obtenir !

Jean-Marc

Vezien

Vision par Machine 22

V. SYSTEME VISUEL HUMAIN

uU + aA = bB + cC

• Expérience de Grassman (suite):

Sinon:

uU + aA + bB = cC

Enfin, pour un petit nombre de couleurs:

Enfin, Grassman a démontré que si:

U1 = a1A + b1B + c1C

U2 = a2A + b2B + c2C

Alors :

(k1U1+k2U2) =

(k1a1+k2a2)A + (k1b1+k2b2)B + (k1c1+k2c2)C

Jean-Marc

Vezien

Vision par Machine 23

V. SYSTEME VISUEL HUMAIN

Conceptuellement:

• chaque couleur = un vecteur de R3

• les 3 primitives = système de coordonnées

dans l'espace des couleurs.

projections dans le système de coordonnées =

les coefficients de tristimulus

≠ système orthonormé !!

Notions de:

• distance

• d'orthogonalité

pas valides !

Jean-Marc

Vezien

Vision par Machine 24

V. SYSTEME VISUEL HUMAIN

B=1

A=1

C=1

Bleu

Cyan

Magenta

Noir Blanc

Jaune Rouge

Vert

Représentations:

• Cube de Maxwell:

Jean-Marc

Vezien

Vision par Machine 25

V. SYSTEME VISUEL HUMAIN

•Diagramme de Maxwell

projection du solide des couleurs sur le 2ième

plan bissecteur du cube

•Plan de luminance constante (égale à 1/2 de

la luminance maximale).

•Passe par les couleurs des 3 primitives :

Rouge (1,0,0), Vert (0,1,0) et Bleu (0,0,1).

Jean-Marc

Vezien

Vision par Machine 26

V. SYSTEME VISUEL HUMAIN

Projection du triangle de Maxwell sur le plan

(0, V, R) = triangle rectangle

• Diagramme de chromaticité

cba

bet

cba

a

Composantes sur le rouge et vert:

Bleu = 1 - -

Jean-Marc

Vezien

Vision par Machine 27

V. SYSTEME VISUEL HUMAIN

Pb: certaines couleurs sont à l’extérieur de ce

diagramme.

C.I.E = Compagnie Internationale de

l'Eclairage

http://www.cie.co.at/cie/

→ primitives artificielles X,Y,Z pour représenter

toutes les couleurs d'une manière additive.

• Primitive Y = luminance ( R=V=B )

• X,Z : couleurs

Jean-Marc

Vezien

Vision par Machine 28

V. SYSTEME VISUEL HUMAIN

Couleurs bleu au rouge (bas de l'image) = droite

= la ligne des pourpres.

Jean-Marc

Vezien

Vision par Machine 29

V. SYSTEME VISUEL HUMAIN

Jean-Marc

Vezien

Vision par Machine 30

V. SYSTEME VISUEL HUMAIN

Fonctions de mise en correspondance:

= calcul des tristimuli de n'importe quelle couleur

de spectre f()

0)()(

dlfF =

0)()(

dafA

0)()(

dbfB

0)()(

dcfC

Jean-Marc

Vezien

Vision par Machine 31

V. SYSTEME VISUEL HUMAIN

)( )( 1

0.5

longueur d'ondes en mm

sensibilité relative

450 500 550 600

)(

Rappel: les cônes ne sont pas sensibles aux

couleurs R,V,B mais à des spectres:

les couleurs naissent de l’intégration des

réponses de chaque récepteur sur le spectre +

excitation/ inhibition dans le tissu neuronal

Jean-Marc

Vezien

Vision par Machine 32

V. SYSTEME VISUEL HUMAIN

• Systèmes de coordonnées couleur:

1. Système R,V,B: imagerie numérique

2. Système Y,I,Q: codage TV

(Y=luminance)

3. Système (X,Y,Z): C.I.E., 1931.

4. Système (U,V,W)

Pb: couleurs visuellement équidistantes ne

sont pas projetées à égale distance sur le

diagramme de chromaticité (X,Y,Z).

→ déformation pour créer un diagramme où

le lieu des points à égale distance d’une

couleur désirée est un cercle

Jean-Marc

Vezien

Vision par Machine 33

V. SYSTEME VISUEL HUMAIN

Mesures de distances perceptives sur le

diagramme (x,y):

Chaque trait: orientation et longueur du

grand axe de l’ellipse d’iso-distance à une

couleur donnée

Jean-Marc

Vezien

Vision par Machine 34

V. SYSTEME VISUEL HUMAIN

Projection du diagramme (U,V,W) dans

l’espace des couleurs:

5. Système (U*,V*,W*): même idée sur la

totalité du cube des couleurs:

Jean-Marc

Vezien

Vision par Machine 35

V. SYSTEME VISUEL HUMAIN

3

2

1

3

2

1

A

A

A

T

B

B

B

Y

I

Q

0.178 0.818 0.016

0.540 0.263 0.174

0.246 0.675 0.404

.

R

V

B

Exemple:

• Changement de système de coordonnées:

T: linéaire ... Ou pas !

B

G

R

Y

M

C

1

6. Système (C,M,J): complémentaire de RVB

(couleurs soustractives)

Jean-Marc

Vezien

Vision par Machine 36

V. SYSTEME VISUEL HUMAIN

dByxf )(),,(

dVyxf )(),,(

dRyxf )(),,( Log Filtre passe-bande Rouge

Log Filtre passe-bande

Log Filtre passe-bande

Vert

Bleu

C1

A

C2

+

- +

+

+ -

+

f(x,y, )

Absobtion spectrale des cônes

Réponse linéaire des cônes

Connexion des sorties

Inhibition latérale des cônes

• Rappel: modèle spatial du système visuel:

• Modèle complet du système visuel:

Log Filtre passe-bande Filtre passe-bas

Diffraction de l'oeil

Absorption Inhibition latérale des cônes

Les trois signaux A, C1 et C2 correspondent à des

signaux psychovisuels au niveau des corps

genouillés latéraux (3 types de récepteurs).

Note: CGL = stéréovision