Segmentation par coupes de graphe multi-labels avec a priori de forme Damien GROSGEORGECaroline PETITJEANSu RUAN Litis EA 4108 – Eq. QuantIF RFIA’14 –

Segmentation par coupes de graphemulti-labels avec a priori de forme

Damien GROSGEORGE Caroline PETITJEAN Su RUAN

Litis EA 4108 – Eq. QuantIF

RFIA’14 – Rouen – 04 Juillet 2014

• Minimisation d’une fonctionnelle d’énergie

• Segmentation, restauration, recalage…

• Méthode des coupes de graphe (graph cuts, GC) efficace [Boykov et Jolly, 2001]

• Obtention du minimum global

• Segmentation multi-labels

• Méthode flexible

Contexte

Damien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 2/25

• Ajout d’un modèle de forme :

• Compenser le manque d’information

• Améliorer la précision de la segmentation

• Deux problèmes :

• Modéliser la forme à segmenter

• Intégrer le modèle dans l’algorithme des GC multi-labels

Contexte


Plan de la présentation1. Principe de la méthode des Graph Cuts et

intégration d’a priori

2. Notre méthode : Graph Cuts multi-labels avec a

priori

3. Comparaison des résultats sur IRM cardiaques :

challenge MICCAI’12

4. Conclusion et perspectivesDamien Grosgeorge - RFIA’14 - ROUEN – 4 Juillet 2014 4/25




priori




Ajoutons un lien entre les pixels voisins : n-links

Terme de régularisation : Coupe de coût minimal :Considérons le champ d’observation Segmentation binaire : liens t-linksChaque pixel est considéré comme un nœud

Terme région : attache aux données

Coupes de graphe : principe

6/25

S (étiquette )

T (étiquette )

𝑹 (𝟎)

𝑹 (𝟏)

𝑹𝒊(𝟎)

𝑹𝒊(𝟏)

𝑩𝒊 , 𝒋

Terme de régularisation :

Terme d’attache aux données :

I)|Pr( sI p

)|Pr( tI p

pI

Histogrammes de l’objet et du fond

𝑬 (𝑳 )=∑𝒊

𝑹𝒊 (𝑳𝒊 )+𝝀 ∑𝒊 , 𝒋∈𝑵

𝑩𝒊 , 𝒋 .𝜹(𝑳𝒊≠𝑳 𝒋)Energie d’une coupe (d’un labelling L) :

𝐿𝑖∈ {𝑆 ,𝑇 }

Algorithme α-expansion optimisépour l’image [Boykov & Kolmogorov, 2004]

Incorporation d’a priori

• Ajout d’un terme d’a priori de forme :


𝐸 (𝐿 )=∑𝑖

𝑅𝑖 (𝐿𝑖 )+ λ ∑𝑖 , 𝑗∈𝑁

𝐵𝑖 , 𝑗 . 𝛿 (𝐿𝑖≠ 𝐿 𝑗 )+𝐸𝑠

t-links n-links

Terme région Terme contour Terme a priori

𝐸 (𝐿 )=∑𝑖


𝐵𝑖 , 𝑗 . 𝛿 (𝐿𝑖≠ 𝐿 𝑗 )+ ∑𝑖 , 𝑗 ∈𝑁

𝐸𝑠(𝐿𝑖 ,𝐿 𝑗)t-links n-links𝐿𝑖∈ {𝑆 ,𝑇 }

Terme région Terme contour

n-links

Terme a priori

contraintes grossières

p

q[Funka-Lea

et al, 2006]

𝐸 (𝐿 )=∑𝑖


𝐵𝑖 , 𝑗 . 𝛿 (𝐿𝑖≠ 𝐿 𝑗 )+∑𝑖

𝐸𝑠(𝐿𝑖)t-links n-links𝐿𝑖∈ {𝑆 ,𝑇 }

Terme région Terme contour

t-links

Terme a priori

forme spécifique

[Malcolm et al, 2007 ;

Song et al, 2006]Problème : positionner le modèle

Incorporation d’a priori Ajout d’a priori à la méthode des graph cuts Relativement peu de travaux

But : Intégrer un a priori fort représentant les variabilités de l’objet à segmenter

Se dispenser d’un procédé itératif alternant phase de recalage et phase de segmentation par graph cuts





priori




GC multi-labels avec a priori

• Vue d’ensemble :


Atlas

Recalage rigide et sélection de

N atlas

Image à segmenter

Segmentation finale

Labels

Intensités

Recalage non-rigide des N

atlas

Application des transformations aux cartes de labels et

d’intensités

Construction du modèle de forme par fusion des atlas

GC multi-labels avec a priori de

forme

Soient N atlas recalés rigidement sur l’image à segmenter

Recalage non-rigide des atlas sur l’image :

Minimisable par GC multi-labels (α-expansion) Utilisation récente pour le recalage [Tang et

Chung, 2007]

Nœuds terminaux : vecteurs de déplacement (discrétisation)

Critère de similarité : selon application

Création du modèle


Critère de similarité Régularisation

Création du modèle Fusion locale des atlas recalés (selon voisinage) :

Utilisation classique : choix du label de score max

Normalisation et création d’une carte a priori :


Différence d’intensités

Distance du voisin

Pour chaque label

Segmentation multi-labels Graphe multi-labels :

Labels : objets à segmenter

Energie du graphe :

T-links : Attache aux données : défini à partir de la carte a priori

Attache à l’a priori :

13/25

Attache aux

données

Attache à l’a

priori

Régularisation

N-links : ajout d’une contrainte topologique Contrainte GC : doit être une métrique sur l’espace des labels pour l’α-expansion :

Energie proposée :

Où :

Segmentation multi-labels


ED ES

Recalagenon-rigide

VD

VG

Myocarde

Fusion

VD

VG

Myocarde

Segmentation

VD

VG

Myocarde

ED ES

Recalagenon-rigide

VD

VG

Myocarde

Fusion

VD

VG

Myocarde

ED ES

Recalagenon-rigide

VD

VG

Myocarde

Base de données de 48 patients : 16 patients pour la construction du modèle 32 patients pour le test

Réglage empirique des paramètres Stratégie leave-one-out sur la base d’apprentissage

Coefficient de Dice :

Résultats expérimentaux

15/25

𝑫 ( 𝑨 ,𝑩 )=𝟐|𝑨𝑩||𝑨|+|𝑩|

Image à segmenter

Labels

Atlas Recalage rigide et sélection de N atlas

Recalage non-rigide des N

atlas

Application des transformations aux cartes de labels et

d’intensités

Construction du modèle de forme par fusion des atlas

GC multi-labels avec a

priori de forme Segmentation

finale

Résultats expérimentaux

16/25VD - VG - Myocarde




priori




Comparaison : MICCAI’12 Base de données : 48 patients (CHU de Rouen) 16 patients pour l’apprentissage 16 patients Test1 16 patients Test2

Critères d’évaluation : Techniques : coefficient de Dice et distance de Hausdorff

Cliniques : évaluation des volumes et de la fraction d’éjection


Comparaison : MICCAI’12

• 4 méthodes automatiques :


Equipes Principe de la méthode A/SA Contours

CMIC, GB Recalage multi-atlas 2D A Endo+épi

NTUST, Taiwan Clustering et mouvement A Endo+épi

SBIA*, USA Recalage multi-atlas 3D A Endo+épi

LITIS, France GC multi-labels (GCAF-multi) A Endo+épi

Equipes A/SATest1 Test2 Moyenne

DM HD (mm) DM HD (mm) DM HD

CMIC A 0.75 11.51

NTUST A 0.59 25.30

SBIA* A 0.58 19.09

GCAF-multi A 0.80 11.1

0

Comparaison : MICCAI’12 Performances techniques :

Coefficient de Dice et distance de Hausdorff sur 32 patients


Comparaison : MICCAI’12 Performances cliniques :

Paramètres de la régression linéaire et coefficient de corrélation entre volumes automatiques et manuels en ED et ES


Comparaison : MICCAI’12 Performances cliniques :

Analyse de Bland-Altman sur la fraction d’éjection


Comparaison : MICCAI’12


Contours automatiques – Contours manuels

CMIC GCAF-multi

Conclusion et Perspectives

• Proposition d’une méthode :

• Segmentation par GC multi-labels avec a priori : robuste, générique, automatique

• Bonnes performances au challenge MICCAI’12, sur une tâche difficile de segmentation

• Perspectives :

• Sélection d’atlas

• Ajout de contraintes aux n-links : α-expansion β-Shrink Moves [Schmidt et Alahari, 2011]

• Extension 3D


Fin…


Merci de votre attention

Des questions ?

Contact: [email protected]

Documents

Segmentation par coupes de graphe multi-labels avec a priori de forme Damien GROSGEORGECaroline PETITJEANSu RUAN Litis EA 4108 – Eq. QuantIF RFIA’14 –