Segmentation et sélection de caractéristiques basée sur des patchsen IRM prostatique

M. Guinin1,2 S. Ruan1 B. Dubray1,3 L. Massoptier2 I. Gardin1,3

1 LITIS – QUANTIF – EA 4108, Université de Rouen, France2AQUILAB, Lille, France 3Centre Henri Becquerel, Rouen, France

RésuméLa segmentation de la prostate est une tâche critiquepour la planification de traitement en radiothérapie. Nousproposons une segmentation supervisée qui consiste enla sélection de caractéristiques d’un dictionnaire souscontraintes parcimonieuses et une fusion de labels baséspatchs. La première étape est de segmenter les organes àrisque en utilisant une méthode de sur-segmentation baséesur les superpixels pour définir un volume d’intérêt danslequel la prostate est incluse. Ensuite, un apprentissageest réalisé sur les caractéristiques les plus informativesau sein d’un dictionnaire composé de plusieurs caracté-ristiques de textures extraites de l’image. Enfin, une propa-gation de label de patch sous contrainte parcimonieuse estappliqué pour segmenter la prostate à deux échelles, appe-lées superpixels et voxels. Cette méthode a été évaluée parla méthode leave-one-out sur les images IRM de la pros-tate du challenge ISBI 2013. L’influence du paramètre derégularisation au sein de la sélection de caractéristique aété étudié. Les résultats préliminaires montre une bonneperformance de notre méthode, avec un indice de Dice de76% et accélérant l’algorithme de segmentation.

Mots ClefParcimonie, Dictionnaire, Extraction de caractéristiques,Segmentation basée patchs, Radiothérapie de la prostate.

AbstractProstate segmentation is critical for treatment planningin radiotherapy. We propose a supervised segmentationconsisting of feature selection from a dictionary withsparse constraints and a patch-based label fusion. Thefirst step is to segment the organs at risk using an over-segmentation method based on superpixels to automati-cally define the volume of interest, in which the prostateis included. Then, a learning step consists of selectingthe most informative features from a dictionary compo-sed of many texture features extracted from the images.Finally, a sparse patch label propagation framework seg-ments the prostate into two scales, namely, superpixels andvoxels. This method has been evaluated on the prostateMRI images proposed for the ISBI 2013 challenge with a

leave-one-out cross-validation. The influence of the regu-larization parameter inside the feature selection has beenstudied. The preliminary results show good performanceof our method, with an encouraging average Dice metricof 76% and speed up the segmentation algorithm.

KeywordsSparse, Dictionary, Feature extraction, Patch-based seg-mentation, Prostate radiotherapy.

1 IntroductionLe cancer de la prostate est le plus répandu et le troisièmecas de cancers masculins mortels en Europe de l’ouest [1].Parmi les traitements du cancer de la prostate, la radio-thérapie a pour but de traiter le cancer en utilisant des ra-diations ionisantes. L’efficacité du traitement dépend de lamaximisation de l’irradiation à l’intérieur de la tumeur touten minimisant cette irradiation au sein des OAR (Organs AtRisk) environnants. C’est pourquoi, la segmentation de laprostate et des OAR est une étape cruciale dans la phase deplanification du traitement.La segmentation automatique et précise de la prostate enIRM est une tâche difficile. La taille et la forme de cet or-gane varient d’un patient à l’autre avec un faible contrasteentre la prostate et les tissus environnants. Plusieurs mé-thodes ont été développées afin de répondre à cette problé-matique. Vincent et al. [2] ont développé un système géné-rique de modèle statistique afin de construire un AAM (Ac-tive Appearance Model), permettant une segmentation au-tomatique de la prostate. Liao et al. [3] utilisent une repré-sentation basée sur patchs pour distinguer les voxels appar-tenant à la région prostatique ou non, intégré au sein d’unensemble de fonctions de propagation de label basé surdes patchs parcimonieux pour segmenter automatiquementla prostate. Concernant les méthodes semi-automatiques,Yuan et al. [4] proposent un contour déformable 3D de laprostate sous contraintes convexe incorporant une corres-pondance d’histogramme et un a priori de forme générique(en étoile). Maan et al. [5] utilisent un recalage non rigidede surface couplé à un AAM manuellement initialisé ensélectionnant le centre de l’organe.Notre but est de fournir un outil de segmentation auto-

FIGURE 1 – Schéma général de notre méthode.

matique dans le contexte de radiothérapie de la prostate.Notre méthode est composée de quatre étapes : (1) extrac-tion du VOI (Volume Of Interest), (2) sélection de carac-téristiques (3) suppression de régions de superpixels et (4)segmentation de la prostate. Les OAR sont préalablementsegmentés en utilisant une technique de sur-segmentationpermettant d’extraire un VOI contenant la prostate sur lesimages d’apprentissage ainsi que sur la nouvelle image àsegmenter. Pour chaque superpixel à l’intérieur du VOI,une signature moyenne de caractéristiques est constituée.Pour une nouvelle image à segmenter, elle est tout d’abordsur-segmentée à l’aide des superpixels puis son VOI estdéfini. Nous proposons de segmenter la prostate en deuxéchelles pour accélérer l’algorithme ainsi que pour réduirele bruit puisqu’un grand nombre de voxels seront élimi-nés à l’échelle du superpixel. D’abord, les superpixels àl’intérieur du VOI sont classifiés en trois classes appeléesprostate, non-prostate et incertaines, en comparant les si-gnatures moyennes avec les signatures apprises. Ensuite,les superpixels classés comme non-prostate sont enlevés.Une étape d’affinement à l’échelle du voxel est effectuée,seulement au sein des régions incertaines, localisées surle pourtour de la prostate. Notre méthode a été appliquéeet évaluée sur les 10 premiers patients du challenge ISBI2013 [6].

Dans la section 2, nous décrirons la méthode proposée poursegmenter la prostate.

Dans la section 3, nous présenterons une évaluation de l’in-fluence de λ, le paramètre de régularisation de la fonctionlogistique Lasso utilisée pour sélectionner les caractéris-tiques les plus importantes au sein du dictionnaire, afin demontrer l’influence de la contrainte de parcimonie sur lesrésultats de segmentation. Puis une comparaison sera ef-fectuée entre notre méthode en deux échelles et la méthodeutilisant directement les informations au niveau du voxel.Enfin, nous présenterons nos conclusions et futurs travauxdans la section 4.

2 Méthode2.1 Extraction du VOI de la prostateLe schéma générale de notre méthode est illustré en fi-gure 1.La segmentation des organes à risque (têtes fémorales, rec-tum et vessie) est effectuée en utilisant une méthode baséesur les superpixels et une diffusion sur graph, développéedans nos précédents travaux [7]. Un exemple de résultatd’utilisation des superpixels pour la segmentation des or-ganes à risque est illustré en figure 2. Puisque, anatomi-quement, la prostate se trouve forcément entre le rectumet la vessie, une enveloppe convexe incluant ces deux or-ganes est définie. Par la suite, ces deux OAR sont sous-traits au volume de l’enveloppe convexe. Pour prendre encompte la forme de la prostate, une dilatation anisotrope(plus prononcée sur l’axe médio-latéral) et érosion aniso-trope (plus prononcée sur l’axe antéro-postérieur) sont ap-pliquées avec un élément structurant de taille 30 × 60 × 1et 60×50×30 voxels, respectivement. Ceci défini un VOIincluant la prostate permettant de réduite la région à seg-

FIGURE 2 – Résultat de l’utilisation de superpixels sur uneimage IRM et des organes à risque segmentés.

FIGURE 3 – Détermination du poids d’un superpixel s de Inew avec le superpixel correspondant t ∈ Nu(s).

menter. L’extraction du VOI est effectuée sur les imagesd’apprentissage ainsi que la nouvelle image à segmenter. Àl’intérieur du VOI, il reste de multiples régions de super-pixels comme montré par les contours verts sur la figure 1.

2.2 Construction du dictionnaire et sélectionde caractéristiques

À partir du VOI extrait, la méthode basée patchs [8] est dé-finie par l’extraction d’une sous-image, appelée patch, detaille K ×K centrée sur un voxel x. Ensuite, cinq famillesde caractéristiques de texture sont extraites du patch :moyenne (1 caractéristique), LBP (Local Binary Pattern) (1caractéristique) et sa version étendue (ELBP) [9] (64 carac-téristiques), Haar [10] (32 caractéristiques) et HOG (His-togram of Oriented Gradients) [11] (4 caractéristiques),aboutissant à l’extraction de M = 102 caractéristiques.Le vecteur signature d’un voxel i, noté ai, inclut l’en-semble des M caractéristiques. Le dictionnaire est com-posé de toutes les signatures extraites. Cependant, toutesles caractéristiques ne sont pas nécessairement informa-tives et nous ne savons pas lesquelles le sont a priori.Par conséquent, il est nécessaire de sélectionner les ca-ractéristiques discriminantes. Pour ce faire, N signaturesai(i = 1, . . . , N) sont sélectionnées du dictionnaire. Il aété choisi de sélectionner ces N signatures dans une bandeautour des contours de la segmentation de la prostate carc’est à cet endroit qu’il est le plus difficile de décider del’appartenance ou non d’un voxel à la prostate. Pour chaquesignature, son label li y est associé, avec pour valeur +1lorsque le voxel appartient à la prostate et −1 sinon. La sé-lection des caractéristiques consiste à minimiser le critèresuivant basé sur le problème logistique Lasso :

J(β, c) =

N∑i=1

log(1 + exp

(−li(βTai + c

)))+ λ‖β‖1

(1)avec β le vecteur de coefficients parcimonieux, c l’ordon-née à l’origine et λ le paramètre de régularisation de lacontrainte parcimonieuse définie par la norme L1, menant

à sélectionner le moins de caractéristiques possible. La mé-thode de Nesterov (disponible dans l’ensemble de fonc-tions de SLEP pour Matlab [13]) est utilisée pour minimi-ser l’équation (1). Les caractéristiques discriminantes sontdéfinies par β 6= 0. Ce sous ensemble de caractéristiquesforme une signature parcimonieuse notée bi et regroupéesdans un dictionnaire D.Une signature aSP (s) d’un superpixel s est également cal-culée par la valeur moyenne des signatures à l’intérieurdu superpixel. De manière similaire à l’échelle du voxel,l’équation (1) permet de constituer un dictionnaire parci-monieux à l’échelle du superpixel noté DSP et contenantles bSP

i signatures, (i = 1, . . . , N).

2.3 Propagation de label par patchs parci-monieux et segmentation de la prostate

La segmentation est appliquée en deux échelles, superpixelet voxel. Le principe est le même pour les deux.Considérons n images recalées et leur carte de labels as-sociées {(Iu, Lu) , u = 1, . . . , n}, ainsi qu’une nouvelleimage Inew devant être segmentée et préalablement reca-lée sur les images d’apprentissage. Chaque superpixel sde la nouvelle image peut superposer un ensemble de su-perpixels des images d’apprentissage comme montré en fi-gure 3. Basée sur [3], la probabilité qu’un superpixel ap-partienne à la prostate est déterminé de cette façon :

LSPnew(s) =

∑nu=1

∑t∈Nu(s)

e−d(sc,tc)wu(s, t)LSPu (t)∑n

u=1

∑t∈Nu(s)

wu(s, t)

(2)avec LSP

new la carte de probabilité des superpixel de la pros-tate de Inew, LSP

u (t) le label moyen à l’intérieur d’un su-perpixel t calculé avec Lu, Nu(s) les superpixels super-posés par s dans Iu et wu(x, y) le poids du lien entre lesuperpixel s et t, mesurant la similarité entre leur signa-tures. L’exponentielle négative de la distance Euclidienned entre les centroids sc et tc des superpixels s et t permetde donner plus de poids aux superpixels proches.Pour calculer wu(s, t), une matrice A est construite.

Chaque colonne de A est définie par la signature bSPIu

(t),avec t ∈ Nu(s). Le lien entre les superpixels s et t dansu images grâce à la valeur de wu(s, t) est défini de lamême façon que l’apprentissage du dictionnaire précédem-ment présenté. Ainsi, la sélection des meilleures correspon-dances de patchs consiste à la minimisation de l’équationsuivante :

J(θs) =1

2‖bSP

Inew(s)−Aθs‖22 + Λ‖θs‖1, θs ≥ 0 (3)

avec bSPInew

(s) la signature parcimonieuse du superpixel sde Inew, Λ le paramètre de régularisation de la contraintede parcimonie et θs le vecteur de coefficients parcimo-nieux. La minimisation de l’équation (3) permet de sé-lectionner de manière parcimonieuse les patchs qui res-semblent le plus au nouveau patch pour déterminer direc-tement les poids wu.Si la valeur d’un superpixel dans LSP

new(s) vaut strictement+1 ou−1 à partir de l’équation (2), il est directement clas-sés car nous savons que tous les voxels à l’intérieur de cesuperpixel appartiennent à la prostate (+1) ou non (−1).Concernant les régions de superpixels incertaines ayantpour une valeur comprise dans ]−1,+1[, la même méthodeprécédemment présentée est appliquée à chaque voxel àl’intérieur des superpixels. Pour l’équation (2), la carte deprobabilité finale de la prostate Lnew de l’image Inew estobtenue en replaçant s et t par x et y, respectivement, avecx un voxel de Inew et y sont voxel correspondant dans Iu.De plus, Nu(x) représente désormais une fenêtre de voisi-nage de tailleW×W et centrée en x dans Iu, LSP

u est rem-placé par Lu et la distance s est fixée à 0. Puis, la matriceA est maintenant construite avec chaque colonne définiepar les signatures bIu(y), avec y ∈ Nu(x). Enfin, le poidswu(x, y) est calculé en utilisant J(θx) avec l’équation (3),en remplaçant bSP

Inew(s) par bInew

(x). Puisque toutes lesimages du challenge sont recalées, la segmentation finaleLnew est obtenue par vote majoritaire [14].

3 Évaluation, résultats et discussion3.1 ÉvaluationNous avons sélectionné les 10 premiers patients du chal-lenge ISIB 2013 [6] afin de tester notre méthode. Cesimages sont de taille 320 × 320 × 20 voxels et sont toutesrecalées et segmentées par des experts. Ces segmentationsmanuelles sont considérés comme la référence absolue àlaquelle nous allons comparer nos segmentations.Puisque le paramètre de régularisation λ pondère lacontrainte parcimonieuse des signatures dans le diction-naire dans l’équation (1), son impact sur les résultats desegmentations a été évalué. L’influence de λ sur le nombrede caractéristiques sélectionnées dans les signatures parci-monieuses et sur les résultats de segmentations a été éva-luée pour six valeurs différentes : 0.1, 0.2, 0.5, 0.7, 0.9, et0.99. Les autres paramètres ont été fixés sur :K = 5 (tailledes patchs), W = 15 (taille du voisinage) et Λ = 10−4

Segmentation utilisant seulement les voxels (a)

λ 0.1 0.2 0.5 0.7 0.9 0.99

#f 18 14 12 7 6 2

DI 76.01 76.01 76.01 72.16 72.16 72.16±7.41 ±7.41 ±7.41 ±6.15 ±6.15 ±6.15

TPR 81.42 81.42 81.42 75.46 75.46 75.46±11.99 ±11.99 ±11.99 ±13.03 ±13.03 ±13.03

Segmentation utilisant les superpixels (a)

λ 0.1 0.2 0.5 0.7 0.9 0.99

#f 35 27 7 4 2 1

DI 76.62 76.62 76.62 72.77 72.77 72.77±5.94 ±5.94 ±5.94 ±12.71 ±12.71 ±12.71

TPR 92.52 92.52 92.52 91.23 91.23 91.23±8.57 ±8.57 ±8.57 ±9.08 ±9.08 ±9.08

TABLEAU 1 – Nombre de caractéristique sélectionnée (#f)et la moyenne de l’indice de Dice (DI) et true positive rate(TPR) (tous deux en %) des résultats de segmentations pourdifférentes valeurs de λ avec et sans l’étape de superpixels.

(équation (3)). Afin de comparer les résultats de segmenta-tions avec la référence absolue, le Dice index (DI) et truepositive rate (TPR) ont été utilisés. Le DI représente le tauxde superposition entre les deux volumes. Le TPR mesure lafraction de voxels du résultat de la segmentation correcte-ment labellisés à l’intérieur de la référence absolue.L’évaluation a été accomplie avec une méthode de vali-dation croisée de type leave-one-out. Pour segmenter uneimage, les neuf autres images ont été utilisées pendantla phase d’apprentissage. Pour l’étape de segmentation,chaque image est segmentée avec l’ensemble de fonctionsde propagation de label basé sur les patchs en utilisant lesneuf autres images. La segmentation finale de cette imageest effectuée par un vote majoritaire entre la carte de pro-babilité Lnew et les neuf autres cartes de labels Lu.

3.2 Résultats et discussionSur l’ensemble de la base, le VOI contient toujours la pros-tate segmentée par l’expert.Le tableau 1 montre les résultats de notre méthode (ta-bleau 1.b) comparé à la méthode considérant uniquementles voxels pour les étapes d’apprentissage et de segmenta-tion (tableau 1.a). Dans les deux cas, six valeurs différentesde λ ont été testées. Tout d’abord, pour les deux méthodes,on observe que le nombre de caractéristiques sélectionnéediminues si λ augmente. De plus, les performances de seg-mentation sont stables pour les trois première valeurs deλ et commencent à décroitre lorsque λ > 0.5. Une chutede performance est observée à partir de λ = 0.7. Pour nosdonnées, une valeur de lambda à 0.5 permet d’obtenir lemeilleur compromis entre le faible nombre de caractéris-

tiques sélectionnées et des bonnes performances de seg-mentation.

Avec cette méthode que nous proposons, les DI et TPR sonttous les deux améliorés de +0.61% et +11.1%, respective-ment, pour λ = 0.5. De plus, les résultats sont plus stablecar les écarts-types sont plus faibles avec notre méthodequ’avec les voxels uniquement.

Les caractéristiques sélectionnée pour l’étape de super-pixels avec λ = 0.5 sont LBP et quatre ELBP, une Haaret une HOG. Avec seulement sept caractéristiques sélec-tionnées des 102 initiales, une segmentation de la prostateest obtenue avec un DI et TPR supérieur à 76% et 81%,respectivement. De plus, malgré l’ajout d’une étape de su-perpixels, l’algorithme de notre méthode permet de réduirele temps d’exécution de 80% en globalité puisqu’il permetde calculer l’étape au niveau du voxel que sur une partieréduite de l’image (dans les régions de superpixels incer-taines). Pendant ce processus d’évaluation, les autres para-mètres ont été fixés en accord avec les valeurs proposéespar Liao et al. [3].

La figure 4 montre plusieurs résultats de segmentation dela prostate par notre méthode sur trois différentes coupesd’un même patient, comparé à la référence absolue. Cettefigure montre de bons résultats de segmentation, même à labase (Figure 4(a)) et l’apex (Figure 4(c)) de la prostate, descoupes difficiles à segmenter à cause du faible contrasteavec les tissus environnants.

Nos résultats préliminaires ont été évalués sur les 10 pre-mier patients de la base de donnée du challenge ISBI 2013.

4 Conclusion

Dans cette étude, nous proposons une technique de seg-mentation basée sur des patchs parcimonieux utilisant undictionnaire de caractéristiques. Les caractéristiques despatchs les plus informatives sont sélectionnées par unefonction logistique Lasso. Un ensemble de fonctions depropagation de labels est utilisé pour calculer une carte deprobabilité à l’échelle du superpixel puis du voxel. La seg-mentation finale est obtenue par vote majoritaire.

En étudiant l’impact des variation du paramètre de régula-risation du la fonction logistique Lasso, nous avons montréqu’un ensemble très limité de caractéristiques étaient suf-fisantes pour obtenir une bonne segmentation. Ce proces-sus a été évalué sur les acquisitions IRM de 10 patients enutilisant une technique de leave-one-out. En comparaisonavec une méthode utilisant uniquement les informations àl’échelle du voxel, notre méthode utilisant les superpixelspermet d’obtenir de meilleurs résultats, notamment au ni-veau du temps d’exécution réduit de 80%. Dans nos tra-vaux futurs, nous allons tester la méthode sur la base en-tière du challenge ISBI 2013 étendre la méthode à la seg-mentation de la prostate sur des image de tomodensitomé-trie.

(a) (b)

(c) (d)

FIGURE 4 – Segmentation de la prostate par notre méthode(vert) comparé à la référence absolue (rouge). Les colonnes(a), (b) et (c) montre la segmentation de la prostate d’unecoupe de la base, médiane et de l’apex. Visualisation durésultat en trois dimensions (d).

Références[1] French National Cancer Institute (INCa) : The cancer

situation in France in 2012.

[2] Vincent, G., Guillard, G., Bowes, M. : Fully automa-tic segmentation of the prostate using active appea-rance models. MICCAI Grand Challenge : ProstateMR Image Segmentation (2012)

[3] Liao, S., Gao, Y., Shen, D. : Sparse patch based pros-tate segmentation in CT images. MICCAI 2012, 385–392. Springer Berlin Heidelberg (2012)

[4] Yuan, J., Qiu, W., Ukwatta, E., et al. : An efficientconvex optimization approach to 3D prostate MRIsegmentation with generic star shape prior. MICCAIGrand Challenge : Prostate MR Image Segmentation(2012)

[5] Maan, B., van der Heijden, F. : Prostate MR imagesegmentation using 3D active appearance models.MICCAI Grand Challenge : Prostate MR Image Seg-mentation (2012)

[6] The Cancer Imaging Archive. NCI-ISBI 2013 Chal-lenge : Automated Segmentation of Prostate Struc-tures. (2013)

[7] Guinin, M., Ruan, S., Nkhali, L., et al. : Segmenta-tion of Pelvic Organs at Risk Using Superpixels andGraph Diffusion in Prostate Radiotherapy. To appearin ISBI, (2015)

[8] Rousseau, F., Habas, P. A., Studholme, C. : A super-vised patch-based approach for human brain labeling.IEEE TMI, 30(10), 1852–1862 (2011)

[9] Ojala, T., Pietikainen, M., Maenpaa, T. : Multiresolu-tion gray-scale and rotation invariant texture classifi-cation with local binary patterns. IEEE PAMI, 24(7),971–987 (2002)

[10] Lienhart, R., Maydt, J. : An extended set of haar-likefeatures for rapid object detection. IEEE ICIP, 1, 900–903 (2002)

[11] Dalal, N., Triggs, B. : Histograms of oriented gra-dients for human detection. IEEE CVPR, 1, 886–893(2005)

[12] Tibshirani, R. : Regression shrinkage and selectionvia the lasso. Journal of the Royal Statistical Society.Series B (Methodological), 267–288 (1996)

[13] Liu, J., Ji, S., Ye, J. : SLEP: Sparse Learning withEfficient Projections. Arizona State University, 2009.

[14] Rohlfing, T., Maurer Jr, C. R. : Shape-based avera-ging. IEEE TIP, 16(1), 153–161 (2007)