1

Traitement d’images

4ème partie : traiter 2 images

Caroline Petitjean

Plan

• Applications, perception, représentation…

• Prétraitements– Amélioration

– Restauration

• Traitement : Segmentation

• Traitement de 2 images

2

Traiter 2 images : pourquoi ?

• Recaler, fusionner, comparer des images médicales

• Animation : morphing…

• Séquences vidéo : mouvement…

Traiter 2 images : plan

• Recalage & fusion d’images (médicales)

– Image registration

• Estimation de mouvement

– Motion estimation

3

1) Intra1) Intra--patient, monopatient, mono--modalitmodalitéé

� Exemple : évolution de lésions (images IRM d’un

patient atteint de sclérose en plaque à quelques mois

d’intervalle)

Source : Université Louis Pasteur, Strasbourg

Source Cible

Recalage et fusion

1) Intra1) Intra--patient, monopatient, mono--modalitmodalitéé

� Exemple : évolution de lésions (images IRM d’un

patient atteint de sclérose en plaque à quelques mois

d’intervalle)

Source : Université Louis Pasteur, Strasbourg

Source Cible Source recaléeDifférence

finale

Recalage et fusion

4

2) Intra2) Intra--patient, multipatient, multi--modalitmodalitéé

� Exemple : fusion d’informations provenant de 2

modalités différentes

Source (scanner) Cible (TEP)Source : EPFL

Recalage et fusion

2) Intra2) Intra--patient, multipatient, multi--modalitmodalitéé

� Exemple : fusion d’informations provenant de 2

modalités différentes

Source (scanner) Cible (TEP) Source recaléeSource : EPFL

Recalage et fusion

5

2) Intra2) Intra--patient, multipatient, multi--modalitmodalitéé

� Exemple : fusion d’informations provenant de 2

modalités différentes

Source : Université de Hambourg

Source (IRM) Cible (scanner)

Recalage et fusion

2) Intra2) Intra--patient, multipatient, multi--modalitmodalitéé

� Exemple : fusion d’informations provenant de 2

modalités différentes

Source (IRM) Cible (scanner) Source recaléeSource : Université de Hambourg

Recalage et fusion

6

3) Inter3) Inter--patient, intrapatient, intra--modalitmodalitéé

� Exemple : Segmentation à partir d’un atlas anatomique

Source : INRIA

Source

(individu)

Source

recalée

Cible

(atlas)

Recalage et fusion

3) Inter3) Inter--patient, intrapatient, intra--modalitmodalitéé

� Exemple : Segmentation à partir d’un atlas anatomique

Source : INRIA

Source

(individu)

Source

recalée

Atlas segmenté

et étiqueté

Cible

(atlas)

Recalage et fusion

7

3) Inter3) Inter--patient, intrapatient, intra--modalitmodalitéé

� Exemple : Segmentation à partir d’un atlas anatomique

Source : INRIA

Source

(individu)

Source

recalée

Atlas segmenté

et étiqueté

Cible

(atlas)

Recalage et fusion

� Logiciel

Voxel-MAN(Université

de Hambourg)

Recalage et fusion

8

TTééllééddéétectiontection

� Exemple : carte de végétation et image satellitaire

Source : ESA/ESRIN

Recalage et fusion (hors médical)

TTééllééddéétectiontection

� Exemple : carte de végétation et image satellitaire

Source : ESA/ESRIN

Recalage et fusion (hors médical)

9

RecalageRecalage

• Trouver une transformation spatiale entre

2 images

RecalageRecalage

• Trouver une transformation spatiale entre

2 images

10

Recalage

• Quels repères mettre en correspondance ?

– Points particuliers

– Tous les pixels de l’image ?

• Quelle transformation géométrique ?

– Rigide

– Non-rigide

Points pour la correspondance

• Primitives intrinsèques

– Déjà présentes dans l’image

• Primitives extrinsèques

– Créées artificiellement

11

Primitives extrinsPrimitives extrinsèèquesques

• Repères externes, visibles dans les 2 modalités– fixées au patient ou à la table d’examen

– Invasifs (Vis dans la boîte crânienne)

– Non invasifs• Cadre non vissé

• Moule

• Repères collés à la peau

Primitives extrinsPrimitives extrinsèèquesques

• Repères externes,

contention

12

Primitives extrinsPrimitives extrinsèèquesques

• Avantages

– Permet de recaler des données trèsdifférentes

• Inconvénients

– Les marqueurs doivent être positionnésavant l’acquisition

Primitives intrinsPrimitives intrinsèèquesques

• Structures intrinsèques au patient– information pertinente présente dans les 2 jeux de

données

– peuvent être :• Points

• Courbes (contours)

• Surfaces segmentées

• Volumes

• Points anatomiques identifiés manuellement par l’opérateur

• Points géométriques isolés automatiquement

13

Exemple du morphing

• Mise en correspondance de vecteurs

• Une des 1ères utilisations : dans le clip de M. Jackson (1991) Black or white

� Principalement en recalage

d’images cérébrales

� Courbes : lieux de courbure

maximale (lignes de crête)

� Surfaces : segmentation par

modèles déformables

Mise en correspondance de courbes ou surfacesMise en correspondance de courbes ou surfaces

Source : INRIA

Primitives intrinsPrimitives intrinsèèquesques

14

DiffDifféérents types de transformationsrents types de transformations

• Rigides : Translations – rotations• Conservation des angles et des distances

• + pour recalage intra-patient / intra modalité

Original Transformation globale

• Transformations élastiques

– Bien quand le avant/après ne sont pas similaires ! (ex : apparition/disparition de tumeur)

Original Transformation globale

DiffDifféérents types de transformationsrents types de transformations

15

Traiter 2 images : plan

• Recalage & fusion d’images (médicales)

• Estimation de mouvement

Estimation de mouvement

16

• Différence

d’images

pour

l’estimation

du mouvement

Estimation de mouvement

• Différence :– Bien pour savoir s’il y a du mouvement

– Ne permet pas d’analyser le mouvement• Dans la suite on voit une technique pour obtenir le champ de

vecteurs : le flot optique - optical flow

17

Comment faire pour obtenir ce « champ » de vecteurs ?

Vector field

En chaque pixel, un vecteur (ux,

uy)

Perception du mouvement (1)

18

Perception du mouvement (1)

Le mouvement apparent est perpendiculaire au gradient,

mais n’est pas conforme au mouvement réel

Perception du mouvement (2)

Aucun mouvement apparent n’est perçu

19

� Comment estimer le mouvement du rectangle vert ?

Estimation de mouvement

� Comment estimer le mouvement du rectangle vert ?

On ne peut pas l’estimer, le problème est indéterminé

(problème d’ouverture)

Estimation de mouvement

20

� Comment estimer le mouvement du rectangle vert ?

Estimation de mouvement

� Comment estimer le mouvement du rectangle vert ?

On peut l’estimer !

Estimation de mouvement

21

� On peut estimer le mouvement du rectangle vert qui

est perpendiculaire aux contours (gradient) de l’image

Estimation de mouvement

Estimation de mouvement

cstettI =))(,( x

22

Hypothèse de départ du flot optique : l’intensité de

l’image reste constante au cours du temps

0))(,(

))(,( =⇔=dt

ttdIcstettI

x

x

Position du

mouvement

à mesurer

Estimation de mouvement

1 équation à 2 inconnues (ux, uy) :

problème indéterminéOn ne peut estimer que le mouvement

perpendiculaire au gradient

Hypothèse de départ : l’intensité de l’image reste

constante au cours du temps

0.0))(,(

))(,( =∇+∂

∂⇔=⇔=

dt

dI

t

I

dt

ttdIcstettI

xx

x

00. =++∂

∂⇔=∇+

∂

∂⇔ yx u

dy

dIu

dx

dI

t

II

t

Iu

Vitesse du

mouvement

à mesurer

Estimation de mouvement

23

Estimation de mouvement

0=++ tyx IvIuI

Source images : wikipedia

On a donc 1 équation à deux inconnues

Cf. Illusion de Barber Pole :

Quel est le mouvement réel ?

Il faut AJOUTER une CONTRAINTE

Estimation de mouvement

• Ajout de contraintes

– Hypothèse 1 : champ de mouvement d’une petite partie de l’image est constant (Lucas-

Kanade)

– Hypothèse 2 : le champ de mouvement doit être « lisse » (Horn & Schunk)

• Permet d’ajouter des équations

24

ApplicationsApplications

Estimation des dEstimation des dééformations myocardiquesformations myocardiques

� Estimation de la déformation

entre chaque image

� Obtention d’un champ

de déformation

ApplicationsApplications

Estimation des dEstimation des dééformations myocardiquesformations myocardiques

Mouvement entre chaque image

Contraction dans la

direction radiale

Contraction dans la

direction

tangentielle

25

Références

• Image Morphing, Thin-Plate Spline Model,

CSE399b, Spring 06, Computer Vision,

Lecture 8

• Cours Morphing, Daniel Cohen-Or,

Université de Tel Aviv

• Thèse CP

• Estimation du mouvement, Zaccharin &

Hébert, 2008, wcours.gel.ulaval.ca/