80

Chapitre 1 Le recalage multimodal TEP-IRM

Embed Size (px)

Citation preview

Page 1: Chapitre 1 Le recalage multimodal TEP-IRM
Page 2: Chapitre 1 Le recalage multimodal TEP-IRM

Université de Sherbrooke

RECALAGE MULTI-MODAL AUTOMATIQUE :TECHNIQUE DE MULTI-RÉSOLUTION PARALLÈLE

APPLIQUÉE À LA TEP ET L’IRM

parMichaël Bernier

Département de médecine nucléaire et radiobiologie

Mémoire présenté à la Faculté de médecine et des sciences de la santéen vue de l’obtention du grade de maître ès sciences (M.Sc.)

en Sciences des radiations et imagerie biomédicale

Sherbrooke, Québec, Canada28 mars 2012

Membres du Jury d’évaluationMaxime Descoteaux, Département d’informatique

Martin Lepage, Département de médecine nucléaire et radiobiologieRoger Lecomte, Département de médecine nucléaire et radiobiologie

Kevin Whittingstall, Département de radiologieMarie-Flavie Auclair-Fortier, Département d’informatique

@ Michaël Bernier, 2012

Page 3: Chapitre 1 Le recalage multimodal TEP-IRM
Page 4: Chapitre 1 Le recalage multimodal TEP-IRM

Recalage multi-modal automatique : Technique de multi-résolutionparallèle appliquée à la TEP et l’IRM

ParMichaël Bernier

Programme de Sciences des radiations et imagerie biomédicale

Mémoire présenté à la Faculté de médecine et des sciences de la santé en vue del’obtention du diplôme de maître ès sciences (M.Sc.) en Sciences des radiations et

imagerie biomédicale, Faculté de médecine et des sciences de la santé, Université deSherbrooke, Sherbrooke, Québec, Canada, J1H 5N4

Le recalage automatique des images issues de la tomographie par émission de po-sitrons (TEP) et de l’imagerie par résonance magnétique (IRM) du petit animal poseun problème difficile à résoudre, tant sur l’aspect de la précision, du taux de réussiteet de convergence que sur la rapidité d’exécution. En fait, la plupart des techniques derecalage actuelles sont développées et appliquées aux cerveaux humains, mais ne sontpas aussi efficaces lorsqu’appliquées sur des données animales. L’anisotropie impor-tante des voxels (résolution fine dans le plan de l’acquisition, mais grande épaisseurde coupe) et la dégradation des images associée à ce type d’acquisition s’additionneau manque d’information d’intensité et de complexité anatomique de ce type de jeude données. Ce mémoire met l’accent sur les techniques multimodales de recalageautomatique et de leurs limites, appliquées particulièrement à la TEP et l’IRM dupetit animal. Dans l’article principal présenté dans ce mémoire, nous proposons unemesure qui utilise un recalage multirésolution en parallèle (imbriqué dans la fonctiond’énergie) au lieu d’une approche classique de multirésolution séquentielle, influen-çant directement la procédure du recalage. En combinant les niveaux de basse ethaute résolution des images, nous nous assurons une plus grande insensibilité parrapport au bruit, d’une ouverture accrue permettant une meilleure convergence etrapidité d’exécution. L’article démontre que notre nouvelle approche automatique estun algorithme de recalage robuste et efficace avec un taux de réussite élevé. Nousprésentons également dans ce mémoire certains détails d’implantation de l’outil, quia été créé par l’auteur de ce document, reposant sur le recalage classique et la nouvelleméthode décrite dans ce mémoire.

Mots-clés: TEP ; IRM ; Recalage ; Mesure de similarité ; Multi-résolution ; Multi-modal ; NMI.

i

Page 5: Chapitre 1 Le recalage multimodal TEP-IRM

Multi-modal automatic registration : A parallel multi-resolutionapproach applied to PET-MRI

ByMichaël Bernier

Graduate Program of Radiation Sciences and Biomedical Imaging

Master’s thesis presented to the Faculty of Medecine and Health Sciences to obtainthe title of maître ès sciences (M.Sc.) in Radiation Sciences and Biomedical

Imaging, Faculty of Medecine and Health Sciences, Université de Sherbrooke,Sherbrooke, Québec, Canada, J1H 5N4

Automatic registration of small animal Positron Emitted Tomography (PET) andMagnetic Resonance Imaging (MRI) data represents a difficult problem in terms ofconvergence speed, accuracy and success rate. In fact, most existing registration me-thods are developed and applied to human brain volumes but these are not as effectivefor small animal data because of the lack of intensity information in the images andoften the large anisotropy in voxel dimensions (very small in-plane resolution andlarge slice thickness). This master thesis focuses on multi-modal automatic registra-tion techniques and their limitations, especially applied to PET-MRI registration. Inthe main article of this master thesis, we propose a new registration measure thatcombines multi-resolution in parallel (in the same energy function) instead of a clas-sic sequential multi-resolution, which influence the procedure of the registration aswell. By combining low and high resolution levels of images, we can gain from thelow noise sensitivity and aperture at coarse levels and higher contrast and details athigher levels, which helps convergence accuracy and speed. The paper shows that ournew approach is therefore an automatic, robust and efficient registration algorithmwith a high success rate. We also present in this document some implementation de-tails on the tool which was created by the author of this thesis based on the classicregistration and the new approach described in this thesis.

Keywords: PET ; MRI ; Registration ; Similarity measure ; Multi-resolution ; Multi-modal ; NMI.

ii

Page 6: Chapitre 1 Le recalage multimodal TEP-IRM

Dédicace & remerciements

J’aimerais dédier ce mémoire aux gens du Moivre, pour avoir su apprécier monhumour et mes humeurs tout au long de ma maîtrise. Le support moral est primordiallorsque l’on effectue un projet aussi ambitieux, et quoi de mieux que de travailler dansune ambiance légère et agréable !

Je voudrais remercier Maxime Descoteaux pour son immense support et les op-portunités de projets auxquel j’ai eu la chance de collaborer. Je remercie égalementMartin Lepage, Roger Lecomte et les gens du CIMS pour m’avoir permis de décou-vrir le vaste domaine de l’imagerie médicale tout en m’apportant un support essentielsous diverses formes. Je remercie également Louis Doré-Savard, Nicolas Beaudet, Phi-lippe Sarret, David Fortin, Jérôme Côté, Fernand Gobeil Jr., Maggie Roy, StephenCunnane, Olivier Clerk-Lamalice et Lionel Carmant pour m’avoir procuré les jeuxde données utilisés dans ce projet. Finalement, merci à Marie-Flavie Auclair-Fortierpour m’avoir fait une petite place au Moivre !

iii

Page 7: Chapitre 1 Le recalage multimodal TEP-IRM

Épigraphe

“If you can’t explain it simply, you don’t understand it well enough.”

- Albert Einstein

iv

Page 8: Chapitre 1 Le recalage multimodal TEP-IRM

Table des matières

Dédicace & remerciements iii

Épigraphe iv

Table des matières v

Liste des figures vii

Liste des tableaux ix

Abréviations x

Introduction 1

1 Le recalage multimodal TEP-IRM 31.1 Le recalage en général . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.1 Mesures de similarité . . . . . . . . . . . . . . . . . . . . . . . 41.1.2 Recherche de la solution . . . . . . . . . . . . . . . . . . . . . 6

2 Revue des types de recalage 92.1 Recalage monomodal . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.2 Recalage géométrique . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.3 Recalage iconique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.4 Recalage hybride . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.5 Approche multi-résolution . . . . . . . . . . . . . . . . . . . . . . . . 15

v

Page 9: Chapitre 1 Le recalage multimodal TEP-IRM

Table des matières

3 Article : Nouvelle approche de multi-résolution parallèle pour unrecalage automatique TEP-IRM du petit animal 173.1 Avant-propos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193.3 Automatic Registration . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.3.1 Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 213.3.2 Similarity Measure . . . . . . . . . . . . . . . . . . . . . . . . 213.3.3 Energy minimization using DHS . . . . . . . . . . . . . . . . . 23

3.4 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.4.1 Initialization with a PCA . . . . . . . . . . . . . . . . . . . . 243.4.2 Parallel multi-resolution measure . . . . . . . . . . . . . . . . 243.4.3 Using PMCM initiated with PCA . . . . . . . . . . . . . . . . 263.4.4 Algorithms and Experimental Data . . . . . . . . . . . . . . . 27

3.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293.5.1 PET-MRI femoral bone tumor database . . . . . . . . . . . . 293.5.2 PET-MRI rat brain database . . . . . . . . . . . . . . . . . . 313.5.3 MRI-MRI rat brain database . . . . . . . . . . . . . . . . . . 31

3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343.8 Appendix A. Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 37

4 Discussion 38

5 Conclusion 41

A Détails d’implémentation 51A.1 Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53A.2 Encodeurs et décodeurs des formats médicaux . . . . . . . . . . . . . 60A.3 Algorithme de recalage . . . . . . . . . . . . . . . . . . . . . . . . . . 62A.4 Autre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63A.5 Documentation et code . . . . . . . . . . . . . . . . . . . . . . . . . . 64

B Contenu supplémentaire en ligne 65

vi

Page 10: Chapitre 1 Le recalage multimodal TEP-IRM

1.1 Opérations de la descente du simplexe, où les opérations de convergencedu simplexe y sont représentées : Réflexion, contraction, contractionmultiple et expansion. L’algorithme choisit l’opération à effectuer enfonction de la position du simplexe par rapport à la solution optimale. 8

2.1 Recalage géométrique TEP-IRM où on utilise les informations de contourseulement (en rouge). À noter ici qu’on démontre que les primitives decontours sont très différentes d’une modalité à l’autre, impliquant quece type de recalage n’est pas adapté à la TEP et l’IRM. . . . . . . . 12

2.2 Recalage iconique TEP-IRM où on utilise des mesures basées sur l’in-tensité des pixels pour effectuer notre recalage. On doit alors trans-former l’image TEP entièrement pour tenter de l’aligner avec l’imageIRM, et ce à chaque itération. . . . . . . . . . . . . . . . . . . . . . . 13

2.3 Recalage hybride TEP-IRM où on utilise des mesures basées sur l’in-tensité des pixels et les primitives géométriques de contours (en rouge)pour effectuer notre recalage. On utilise ces dernières pour guider lerecalage iconique vers la solution optimale. . . . . . . . . . . . . . . 15

3.1 Mutual information . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223.2 Downhill simplex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233.3 Downhill simplex animation (still image) . . . . . . . . . . . . . . . . 233.4 PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.5 PCA effect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.6 Smoothing curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.7 α factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263.8 Schematic representation of the registration process . . . . . . . . . . 27

vii

Page 11: Chapitre 1 Le recalage multimodal TEP-IRM

Liste des figures

3.9 With and without PCA . . . . . . . . . . . . . . . . . . . . . . . . . 293.10 Successful registration animation (still image) . . . . . . . . . . . . . 293.11 Successful femur PET-MRI affine registration . . . . . . . . . . . . . 303.12 Successful PET-MRI rat brain affine registration . . . . . . . . . . . . 323.13 Successful MRI-MRI affine registration . . . . . . . . . . . . . . . . . 333.14 Downhill simplex algorithm . . . . . . . . . . . . . . . . . . . . . . . 37

A.1 Interface générale du logiciel. . . . . . . . . . . . . . . . . . . . . . . . 55A.2 Contrôles des volumes. . . . . . . . . . . . . . . . . . . . . . . . . . . 56A.3 Contrôles associés au résultat du recalage. . . . . . . . . . . . . . . . 57A.4 Interface d’entrée-sortie de l’information relative au recalage. . . . . . 58A.5 Diagramme UML simplifié de la LoaderFactory . . . . . . . . . . . . 61

B.1 Recalage de volume T1-IRM et 18F -FDG-TEP illustrant une tumeur

fémorale dans le plan sagittal. . . . . . . . . . . . . . . . . . . . . . . 66B.2 Animation dans le plan axial illustrant un recalage TEP-IRM réussi. . 67

viii

Page 12: Chapitre 1 Le recalage multimodal TEP-IRM

Liste des tableaux

3.1 List of datasets used for registration . . . . . . . . . . . . . . . . . . . 283.2 Mean errors of 22 sets of rat femur bone tumors PET-MRI affine re-

gistration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.3 Mean errors of 9 sets of rat brains PET-MRI after affine registration . 323.4 Mean errors of 14 sets of rat brains MRI-MRI affine registration . . . 33

ix

Page 13: Chapitre 1 Le recalage multimodal TEP-IRM

Abréviations

ACP (PCA) Analyse en composante principale (Principal Components Analysis)

DS (DHS) Descente du simplexe (DownHill Simplex)

FDG Fluorodésoxyglucose (Fludeoxyglucose)

IM (MI ) Information mutuelle (Mutual Information)

IMN(NMI ) Information mutuelle normalisée (Normalised Mutual Information)

IRM (MRI ) Imagerie par Résonance Magnétique (Magnetic Resonance Imaging)

M-R Multi-résolution (Multi-Resolution)

PMCM Mesure combinant parallèlement les multiples résolutions (Parallel Multi-Resolution Combined Measure)

RC (CR) Rapport de corrélation (Correlation Ratio)

TEP (PET) Tomographie par émission de positrons (Positron Emission Tomogra-phy)

UML Langage de modélisation unifié (Unified Modelling Language)

x

Page 14: Chapitre 1 Le recalage multimodal TEP-IRM

Introduction

Le recalage d’images acquises à l’aide de plusieurs appareils différents a le poten-tiel d’améliorer et de compléter le manque de sensibilité ou d’information spatiale etanatomique de chacune des modalités. Par exemple, les images provenant de l’image-rie par résonance magnétique (IRM) et la tomographie d’émission de positron (TEP)diffèrent significativement par rapport aux contrastes obtenus lors de l’acquisition età l’information obtenue par chacune des modalités. Le recalage automatique précisd’images multimodales n’est donc pas sans difficultés [8]. Bien que les scanners TEP-IRM combinés vont éventuellement devenir de plus en plus disponibles, la plupartdes centres de recherche ont des systèmes d’acquisition indépendants, souvent mêmedans des pièces différentes [33]. Cependant, l’intégration technologique de la TEP àl’IRM demeure un défi, car les champs magnétiques à proximité d’un scanneur IRM seheurtent au processus de détection des scanners TEP [54]. Le recalage TEP-IRM estdonc une solution potentielle qui peut fournir une alternative rentable aux scannersTEP-IRM combinés.

Il y a des nombreux algorithmes d’alignement de cerveaux humains TEP-IRMdans la littérature [2, 6, 14, 15, 24, 31, 39, 48, 50, 55] et la base de données cérébralehumaine publique RIRE (Retrospective Image Registration Evaluation project) de ré-férence peut comparer et évaluer des nouveaux algorithmes d’enregistrement [48].L’article de Zitova et al. [55] est une bonne revue d’approches de recalage, concen-trée uniquement sur l’alignement des volumes cérébraux TEP-IRM généralement hu-mains. La performance de ces algorithmes, appliqués à la TEP et l’IRM des petitsanimaux, est encore méconnue et peu testée. Des méthodes de recalage cliniques gé-néralement utilisées dans l’imagerie de l’homme ne peuvent pas fonctionner aussi bien

1

Page 15: Chapitre 1 Le recalage multimodal TEP-IRM

Introduction

dans des études animales, dû au manque de détails anatomiques des petits animauxdans les régions étudiées et aux suppositions spécifiquement humaines entre les moda-lités d’imagerie [47]. Par exemple, dans des données TEP humaines, plusieurs contoursou changement d’intensités (os, crâne, ventricules) aident le processus d’alignementdes images. Dans la TEP animale, il y a comparativement moins de variations d’in-tensité, ce qui représente un plus grand défi pour les mesures de similitude qui sontnormalement fructueuses sur des données humaines [12].

Le recalage monomodal (p. ex. IRM-IRM ou TEP-TEP) peut seulement exploiterles informations spatiales et le niveaux d’intensité des voxels, mais ceci ne fonctionneque très rarement pour un recalage TEP-IRM automatique. Une segmentation ini-tiale est souvent nécessaire pour obtenir un bon alignement d’images et un taux deconvergence satisfaisant [8, 24, 33]. Puisque le contenu d’intensité des images TEPet des images IRM n’est que faiblement corrélé, particulièrement l’imagerie du petitanimal, l’initialisation est une étape cruciale et souvent sous-estimée pour un recalageautomatique TEP-IRM fructueux.

Dans ce document, nous présenterons d’abord une revue des différentes techniquesde recalage TEP-IRM automatique actuelles. Puis, nous présenterons l’article de cemémoire, qui est le fruit des recherches effectuées au cours de cette maîtrise. Une dis-cussion sur l’état actuel de la recherche et ses pistes futures sera également fournie.En annexe seront présentés quelques détails d’implémentation.

2

Page 16: Chapitre 1 Le recalage multimodal TEP-IRM

Chapitre 1

Le recalage multimodal TEP-IRM

Ce chapitre traite des techniques de recalage TEP-IRM présentées dans la litté-rature. Comme notre technique vise à la fois l’imagerie humaine et médicale, nousparlerons des techniques spécifiquement appliqués à l’homme. L’article de ce mémoireprésente la théorie utilisée dans le cadre de cette maîtrise. Ici, nous survolerons cettethéorie en présentant certains aspects qui ne sont pas présents dans l’article du cha-pitre suivant.

1.1 Le recalage en généralLe recalage se définit généralement comme suit : on veut trouver la transformation

à appliquer à un volume dit flottant pour l’aligner sur un volume fixe afin de maximiserune mesure de similarité. La mesure de similarité doit être maximale lorsque lesvolumes sont parfaitement alignés [29, 39, 50]. Le recalage est défini comme étant :

T∗γ = argmaxγ{E(R, Tγ(F ))}, (1.1)

où γ contient tous les paramètres de transformation (translation, rotation, . . .), Tγ estune transformation intermédiaire d’une itération donnée en utilisant les paramètresγ, E est une mesure de similarité adpatée aux volumes traités R, F et T

∗γ est la trans-

3

Page 17: Chapitre 1 Le recalage multimodal TEP-IRM

1.1. Le recalage en général

formation optimale recherchée. Le volume de référence R choisi est celui affichant lameilleure résolution [50]. En générale, Dans le cas du recalage TEP-IRM, R est définicomme étant le volume de référence IRM, et F comme étant le volume flottant TEP,car on obtient en IRM des images à la résolution spatiale autant ou plus fine qu’enTEP, tout en conservant un rapport signal sur bruit plus élevé.

1.1.1 Mesures de similarité

La mesure de similarité (E) doit être adaptée aux types de modalités. Dans le casde la TEP et de l’IRM, les mesures à base d’intensité les plus efficaces [29, 39] sont :

Information mutuelle (IM) (Théorie de l’information)– Dépendance statistique quantifiée par entropie jointe.

Rapport de corrélation (RC) (Critère de Woods)– Dépendance fonctionnelle entre les intensités des images.

Nous définirons ces mesure dans les sous-chapitres suivant. La comparaison avecd’autres mesures, moins efficaces, est présentée dans d’autres ouvrages [32, 38] et nefigurerons pas dans ce mémoire.

Information mutuelle (IM)

L’information mutuelle est la mesure adaptée à la TEP-IRM la plus populairedans la littérature. L’information mutuelle de deux ensembles de données représenteleur degré de dépendance probabiliste. C’est un cas particulier de dépendance danslequel la relation entre les deux variables est strictement monotone, c’est-à-dire quel’information spatiale n’est pas tenue en compte : deux volumes déformés de la mêmefaçon vont engendrer la même information mutuelle.

L’information mutuelle est définie comme étant :

IM(R, F ) = H(R) + H(F ) − H(R, F ), (1.2)

4

Page 18: Chapitre 1 Le recalage multimodal TEP-IRM

1.1. Le recalage en général

où H(R) et H(F ) sont l’entropie des volumes TEP et IRM et H(R, F ) est l’entropiejointe :

H(R) =Ng�

i

pR(i) ∗ log(pR(i)),

H(F ) =Ng�

i

pF (i) ∗ log(pF (i)),

H(R, F ) =Ng�

i,j

p(i, j) ∗ log(p(i, j)),

(1.3)

où Ng est le nombre de niveaux de gris que i et j peuvent avoir, pR(i), pV (i) sontrespectivement la probabilité d’occurence de la valeur de niveau de gris i dans lesvolumes R et F et p(i, j) est la probabilité jointe de l’IRM et de la TEP. La IMpossède les propriétés suivantes :

– Toujours positive ;– Nulle si les voxels des volumes sont indépendantes (l’entropie jointe est alors

maximisée) ;– Maximale si les volumes sont parfaitement alignés.

Il existe plusieurs variantes normalisées de IM dans la littérature [3, 29, 42, 43, 49,52], permettant d’acquérir différentes propriétés qui facilitent la convergence vers unesolution optimale. De ces IM normalisées (IMN), la plus utilisée [29] permet d’êtreindépendant de la surface commune des volumes et est définie comme étant :

IMN(R, F ) = 2 · IM(R, F )H(R) + H(F ) . (1.4)

En pratique, on n’utilise plus la IM, mais bien une de ses formes normalisées.

5

Page 19: Chapitre 1 Le recalage multimodal TEP-IRM

1.1. Le recalage en général

Rapport de corrélation (RC)

Le rapport de corrélation se base plutôt sur le rapport fonctionnel suivant : Selon letype d’images, un ensemble de voxels de l’image R où l’intensité est i se projettera surun ou plusieurs ensembles de voxels de l’image F où l’intensité est j en appliquant unesimple fonction [29, 39]. Cet argument n’est valable que si les images sont parfaitementrecalées. Il est alors permis d’utiliser le degré de dépendance fonctionnelle entre R

et F comme une correspondance. La définition du rapport de corrélation est donnéepar :

RC(R, F ) = 1 − η(F |R)

= 1 − V ar [Es(F |R)]V ar(F ) ,

(1.5)

où V ar [Es(F |R)] est la variance de l’espérance conditionnelle Es(F |R), mesurantla partie de F qui est prédite par R. η varie de 0 à 1, où 1 exprime une très fortedépendance. RC sera alors maximal lorsque la dépendance des images sera minimale,donc lorsqu’elles seront alignées. La définition complète du rapport de corrélation estdisponible dans [39].

1.1.2 Recherche de la solution

La recherche de la transformation optimale à appliquer au volume flottant F pourl’aligner sur le volume de référence R s’effectue par un algorithme de recherche quioptimisera la mesure de similarité choisie. Dans le cas du recalage TEP-IRM auto-matique, il nous faut un algorithme capable d’optimiser plusieurs variables à la fois.Ces variables sont les paramètres de transformation, et peuvent aussi contenir desvariables supplémentaires. Des méthodes, telle la descente de gradient [17], l’optimi-sation de Powell [27] et la descente du simplexe [23] sont généralement utilisée.

Dans le cadre de cette recherche, nous avons utilisé la descente du simplexe (DHS).Comme nous n’avons pas accès aux dérivées premières et secondes de la fonctionde coût E(R, Tγ(F )) de l’Eq. 1.1, nous employons cette méthode qui n’utilise pas

6

Page 20: Chapitre 1 Le recalage multimodal TEP-IRM

1.1. Le recalage en général

de forme dérivatives pour tout le processus d’optimisation. À titre d’informationcomplémentaire, le DHS est un algorithme de recherche exhaustive à N dimensions(paramètres de transformation), où l’on tente de contracter le simplexe formé d’unensemble de points (transformations) vers la solution optimale. La Figure 1.1 illustreles opérations effectuées itérativement par le DHS pour converger vers la solutionoptimale :

Réflexion Lors d’une réflexion, la transformation qui obtient la mesure de similaritéla plus faible est reflétée au côté opposé du simplexe suivant l’axe formé par cepoint et le centre du simplexe. Ainsi, la transformation est remplacée par unequi suit la direction du gradient le plus élevé.

Contraction Si la valeur de similarité de la transformation (le point du simplex) laplus faible est légèrement en deçà des autres, on procède alors à une réductionde ce point dans la direction du centroïde formé des autres points du simplex.

Contraction multiple Variante de la contraction, on peut réduire tous les pointsafin d’accélérer le processus.

Expansion Si une transformation éloignée du centre du simplexe obtient une valeurde similarité beaucoup plus élevée que les autres, on peut alors procéder à uneexpansion du simplexe en éloignant le point le plus faible du point fort, dans ladirection formée de ce dernier et du centroïde du simplex.

7

Page 21: Chapitre 1 Le recalage multimodal TEP-IRM

1.1. Le recalage en général

Figure 1.1 – Opérations de la descente du simplexe, où les opérations de convergencedu simplexe y sont représentées : Réflexion, contraction, contraction multiple et ex-pansion. L’algorithme choisit l’opération à effectuer en fonction de la position dusimplexe par rapport à la solution optimale.

8

Page 22: Chapitre 1 Le recalage multimodal TEP-IRM

Chapitre 2

Revue des types de recalage

Il est possible de classifier les différentes familles de recalage multimodal en troisfamilles distinctes : le recalage géométrique, iconique (basé sur les intensités des voxelsseulement) et hybride (une combinaison de la géométrie et l’intensité). Le recalagegéométrique, basé uniquement sur des primitives extraites telles des contours, despoints d’intérêt, des gradients d’intensité, n’est pas intéressant dans le cas de l’aligne-ment TEP-IRM strictement automatique, puisque pour être efficace, il est nécessaired’ajouter des marqueurs physique externe visible à la fois dans les deux modalités àaligner. Les efforts se concentreront plutôt sur plusieurs méthodes de recalage statis-tique, basées sur les voxels, ou de multiples possibilités de recalage hybride.

2.1 Recalage monomodalLe recalage monomodal est une simplification à la problématique illustrée ci-

dessus. Sachant que les images auront une forte corrélation en ce qui a trait à leurscaractéristiques spatiales et sémantiques, la seule contrainte restante est la déforma-tion spatiale. Sachant que le volume flottant est similaire au volume de référence àune transformation près, l’alignement peut alors être déterminé par minimisation desmoindres carrés :

9

Page 23: Chapitre 1 Le recalage multimodal TEP-IRM

2.2. Recalage géométrique

T∗γ = argminγ{||Tγ(F ) − R||2 + αS(γ)}, (2.1)

où S(γ) est un terme de régularisation basé sur le type de transformation. À noter quebien que l’approche soit semblable au recalage géométrique, on utilise directementl’intensité des voxels. C’est donc une approche dite iconique. Nous éclaircirons cetaspect dans les sections suivantes.

2.2 Recalage géométriqueLe recalage géométrique est particulièrement adapté au recalage monomodal et

aux modalités qui affichent des caractéristiques anatomiques similaires, comme l’IRMet la tomodensitométrie, par exemple. Dans de tels cas, la corrélation de l’informationspatiale et anatomique des sujets sera particulièrement forte. Bien que ce mémoire seconcentre plutôt sur le recalage TEP-IRM, plusieurs idées du recalage géométrique ontinspiré certaines méthodes hybrides de la littérature. Le recalage géométrique n’uti-lisera pas directement l’intensité des voxels : nous utiliserons plutôt des primitivesgéométriques extraites des deux volumes. Les primitives peuvent être des contours,des marqueurs externes, des marqueurs naturels, des points d’intérêt, des régions oudes coins.

Le recalage géométrique exige donc une étape d’extraction complémentaire. Ladéfinition du recalage devient alors :

T∗γ = argmaxγ{E (Pr(R), Pf (F ), Tγ)}, (2.2)

où Pr et Pf sont respectivement une opération d’extraction de primitives pour levolume de référence et le volume fixe et Tγ est l’ensemble des paramètres de transfor-mation. À noter que l’on n’applique pas nécessairement la transformation à l’imagepour tester notre alignement. Comme le travail s’effectue sur une fraction de l’image,la convergence vers la transformation optimale n’est pas la contrainte principale :

10

Page 24: Chapitre 1 Le recalage multimodal TEP-IRM

2.2. Recalage géométrique

c’est plutôt la perte de précision, car le recalage dépend entièrement de l’opérationd’extraction de primitives.

Un exemple d’algorithme utilisé en littérature pour résoudre un problème de reca-lage multimodal dit géométrique est l’algorithme des plus proches voisins itérés [46](ou mieux connu sous son nom original anglais : iterative closest point (ICP)), basésur les points d’intérêt. Suite à l’extraction des points d’intérêt des deux images, parexemple avec un détecteur Harris [5, 40], on veut minimiser la distance entre les pointsd’intérêt associés d’un volume à l’autre :

T∗γ = argminγ{

f∈P (F )||Tγ(f) − µ(f)||2}, (2.3)

où f est un des n points extraits du volume F par l’opération P . µ(f) est une opérationd’association au point r ∈ P (R) le plus près basé sur le point f ∈ P (F ). La mesurede distance entre deux nuages de points est donnée par :

RMSD(P (F ), P (R), µ) =����

1n

f∈P (F )||Tγ(f) − µ(f)||2, (2.4)

Le sommaire des étapes de l’algorithme des plus proches voisins itérés est :

1. Association : Sachant γ, minimiser µ en trouvant :

µ∗ = min

µ{RMSD(P (F ), P (R), µ)} (2.5)

2. Transformation : Sachant µ∗, minimiser γ en trouvant :

T∗γ = min

γ{RMSD(Tγ(P (F )), P (R), µ

∗)} (2.6)

3. Mettre à jour P (F ) en appliquant la transformation T∗γ pour chaque compo-

sante de la primitive. Si celle-ci ne change pas comparativement à l’itérationprécédente, retourner à l’étape 1.

11

Page 25: Chapitre 1 Le recalage multimodal TEP-IRM

2.3. Recalage iconique

Dans l’exemple d’algorithme ci-dessus, la contrainte importante vient de la sup-position que les points d’intérêt extraits auront un lien sémantique et anatomiqueimportant. Or, dans le recalage TEP-IRM, les points d’intérêt extraits risquent decomplètement différer, comme dans l’exemple illustré à la Figure 2.1. C’est pourquoidans un tel cas, on ne peut se fier qu’aux primitives géométriques pour un alignementde modalités à faible cohésion spatiale.

Figure 2.1 – Recalage géométrique TEP-IRM où on utilise les informations de contourseulement (en rouge). À noter ici qu’on démontre que les primitives de contours sonttrès différentes d’une modalité à l’autre, impliquant que ce type de recalage n’est pasadapté à la TEP et l’IRM.

2.3 Recalage iconiqueLe recalage iconique, basé sur l’intensité des voxels (voir Figure 2.2), est la mé-

thode la plus utilisée dans la littérature. Son plus grand défaut réside en sa difficultéde convergence : l’algorithme de recherche, s’il n’est pas initialisé autour de la solu-tion optimale, convergera vers un minimum local et non global. En d’autres mots, iltrouvera une solution optimale qui n’est pas nécessairement la solution réelle. Baséprincipalement sur les mesures définies plus tôt (IM et RC), on tente d’en extrairedes informations pour contraindre la recherche de la transformation optimale. Afind’estimer les probabilités d’occurrence des niveaux de gris contenus dans les images,

12

Page 26: Chapitre 1 Le recalage multimodal TEP-IRM

2.4. Recalage hybride

primordial à la IM [29] et RC [19, 29], des études proposent d’utiliser et de contraindredes histogrammes et un histogramme joint [19, 24, 30, 39]. D’autres, pour atteindreun degré d’optimisation supplémentaire en estimant la variation de la mesure de si-milarité, vont utiliser des fenêtres Parzen [44, 51] ou auront recours à une analysepondérée des régions entrecroisées à l’aide de gaussiennes [22]. Le but de toutes cesméthodes est de contourner le problème d’optimisation vers un minimum local. Enutilisant une approche iconique, une initialisation de la transformation dans un voi-sinage restreint centré sur la solution optimale augmente grandement les chances deconvergence vers l’optimum global.

Figure 2.2 – Recalage iconique TEP-IRM où on utilise des mesures basées sur l’inten-sité des pixels pour effectuer notre recalage. On doit alors transformer l’image TEPentièrement pour tenter de l’aligner avec l’image IRM, et ce à chaque itération.

2.4 Recalage hybrideLe recalage hybride est une approche iconique augmentée de primitives géomé-

triques ou encore iconiques, tel qu’illustré à la Figure 2.3. Les techniques diffèrent :certains utilisent une approche de mesure statistique agrémentée de points de repèreou les points de sélection d’intérêt, comme dans [13]. Certains ont appliqué une maxi-misation IM, combinée avec une détection de bord dans une approche séquentiellegrossière-à-fine [4, 44, 45]. D’autres appliquent plutôt IM sur les primitives extraites,

13

Page 27: Chapitre 1 Le recalage multimodal TEP-IRM

2.4. Recalage hybride

telles les contours [36].

Par exemple, dans [24], ils utilisent une approche iconique classique utilisant ladescente du simplexe et l’information mutuelle sans multi-résolution. En parallèle, ilscalculent, pour chaque volume, son spectre de phase et d’amplitude. Ils discrétisentles volumes en utilisant ces dernières, formant deux cartographies, une pour le volumede référence et une pour le volume flottant. Ils définissent alors la mesure de similaritéE comme étant :

E = β · IM1 + (1 − β) · IM2, (2.7)

où IM1 est l’information mutuelle utilisant les volumes originaux et IM2 est l’infor-mation mutuelle provenant des deux cartographies. β est une variable de mélangevariant de 0 à 1, qui augmente avec l’approche de la solution optimale. La définitiondu recalage ne change pas :

T∗γ = argmaxγ{E(R, Tγ(F ))}, (2.8)

permettant de conserver intacte la phase d’optimisation classique du downhill sim-plex. Dans cet article, l’information spatiale est intégrée complètement dans la mesurede similarité à l’aide des cartographies de la combinaison phase et amplitude.

Le problème des approches hybride pour la TEP et l’IRM est le même qu’avec lerecalage géométrique : la faiblesse du lien anatomique entre ces deux modalités. C’estpourquoi on ne peut entièrement se fier aux informations spatiales, comme dans lerecalage géométrique, et que le succès d’un recalage hybride varie grandement d’unjeu de données à l’autre. Une autre approche hybride est l’utilisation d’une approchespatiale pour initialiser une approche iconique. Par exemple, l’utilisation d’une analyseen composante principale (ACP) [18, 25], comme dans l’article de ce mémoire, permet

14

Page 28: Chapitre 1 Le recalage multimodal TEP-IRM

2.5. Approche multi-résolution

d’avoir un alignement de départ plus près de la solution optimale, ce qui favorise laconvergence de l’approche iconique.

Figure 2.3 – Recalage hybride TEP-IRM où on utilise des mesures basées sur l’inten-sité des pixels et les primitives géométriques de contours (en rouge) pour effectuernotre recalage. On utilise ces dernières pour guider le recalage iconique vers la solutionoptimale.

2.5 Approche multi-résolutionEn générale, une approche de multi-résolution classique, dite séquentielle, consiste

à utiliser plusieurs versions dégradées (flou et perte de résolution) des volumes trai-tés afin de pouvoir utiliser les niveaux les moins précis pour guider la recherche desniveaux les plus fins, jusqu’à atteindre le volume original. Plusieurs méthodes uti-lisent des approches de multi-résolution séquentielle pour effectuer le recalage. Cesméthodes visent à contraindre ou guider l’algorithme d’optimisation en utilisant lesniveaux dégradés des volumes, tout en surmontant la sensibilité des méthodes ico-niques face au bruit [35, 37]. On montre une comparaison de quelques approches demulti-résolution séquentielle dans [34]. Bien que ces approches pyramidales n’utilisentpas directement de primitives géométriques, elles utilisent généralement une primitiveiconique : ses propres basses résolutions dégradées.

15

Page 29: Chapitre 1 Le recalage multimodal TEP-IRM

2.5. Approche multi-résolution

Ces approches, bien que reconnues pour accélérer plusieurs processus d’optimi-sation et de recherche [21], peuvent engendrer un problème de convergence et doncamplifier la problématique du recalage TEP-IRM.

En utilisant, par exemple, une pyramide diminuant de moitié à chaque niveauk, le voxel (x, y, z) de Ik est formé à l’aide une moyenne des huit pixels du niveausupérieur qui le forme, soit :

Ik(x, y, z) = 18

Ik+1(2x, 2y, 2z) + Ik+1(2x + 1, 2y, 2z) +Ik+1(2x, 2y + 1, 2z) + Ik+1(2x + 1, 2y + 1, 2z) +Ik+1(2x, 2y, 2z + 1) + Ik+1(2x + 1, 2y, 2z + 1) +Ik+1(2x, 2y + 1, 2z + 1) + Ik+1(2x + 1, 2y + 1, 2z + 1)

(2.9)

suivi de l’application d’un flou global aux volumes. Dans le cas d’une pyramide desix niveaux, la dégradation de chaque niveau est accumulée. On utilise alors ces pyra-mides, une pour le volume référence et une pour le volume flottant, séquentiellementdans l’algorithme de recalage : on aligne les volumes du niveau k = 1 le plus dégradé,et on recommence au niveau suivant k = 2 en utilisant la transformation trouvée auniveau précédent k = 1, jusqu’à ce qu’on atteigne le niveau maximal K, représentantles volumes originaux.

Avec une telle approche, bien que l’algorithme de recherche de la solution s’entrouve accéléré, le taux de convergence réussi est diminué, car si l’algorithme neconverge pas au bon endroit au premier niveau, tous les autres sont affectés [31].Dans un cas de recalage TEP-IRM, une dégradation trop importante des volumespeut mener à des optima locaux éloignés de la solution optimale [31].

16

Page 30: Chapitre 1 Le recalage multimodal TEP-IRM

Chapitre 3

Nouvelle approche demulti-résolution parallèle pour unrecalage automatique TEP-IRM dupetit animal

3.1 Avant-proposAuteurs : Michaël Bernier, Martin Lepage, Roger Lecomte, Luc Tremblay etMaxime Descoteaux

Statut : Soumis à Medical Image Analysis (MedIA)

Avant-propos :

Cet article est directement le fruit de mes deux années de recherche en ce qui a trait aurecalage automatique TEP-IRM. L’élaboration de ce travail se divise en trois étapes :la théorie et la rédaction, la mise en oeuvre en QT@trolltech et C++ du logicielservant à tester les algorithmes présentés dans cet article et finalement l’acquisitionet le traitement des données expérimentales. Les détails d’implémentation du logicielsont situé dans l’Annexe A.

17

Page 31: Chapitre 1 Le recalage multimodal TEP-IRM

3.1. Avant-propos

Ma contribution est entière en ce qui a trait à la rédaction de l’article, ainsiqu’à l’implémentation de l’outil de test. Les résultats présentés dans le papier furentégalement compilés et analysés par moi-même. Je n’ai pas participé à l’acquisition desdonnées : celle-ci a été effectué par les gens de l’équipe du CIMS et les collaborateursénumérés dans les remerciements de l’article. Les co-auteurs sont mes directeurs derecherche, qui ont participé à la supervision de toutes les étapes du procédé, ainsi queLuc Tremblay, qui a participé à l’acquisition et apporté nombreux conseils quant auxtechniques implémentées et à la rédaction de l’article.

Sommaire des références citées dans l’article :

En ordre d’apparition : [8, 33, 54, 55, 48, 50, 39, 2, 31, 6, 14, 24, 15, 12, 44, 51, 22,19, 30, 29, 35, 37, 45, 1, 27, 3, 43, 52, 42, 49, 32, 38, 28, 11, 25, 10, 4, 20, 16, 9, 26, 53, 41]

Résumé :

Le recalage des données provenant de l’IRM et de la TEP du petit animal repré-sente un problème difficile en ce qui a trait à la vitesse de convergence, la précisionde l’alignement et son taux de réussite. En fait, les méthodes de recalage les plusrécentes sont développées et appliquées aux données cérébrales de l’humain. Elle sontefficaces sur celles-ci, mais souffrent d’importantes lacunes lorsqu’elles sont appliquéesau petit animal, souffrant d’anisotropie importante des voxels (très petite résolutiondans l’axe d’acquisition, mais grande épaisseur de tranche) et de faibles variationsd’intensités causée par la simplicité anatomique du cerveau animal. Dans ce travail,nous proposons une nouvelle approche de recalage en utilisant une mesure de simi-larité qui combine parallèlement plusieurs résolutions du volume de la TEP et del’IRM, au lieu de le faire de façon séquentielle tel que proposé par l’approche demulti-résolution classique. En combinant directement les basses et les hautes résolu-tions d’images, nous pouvons tirer profit à la fois de la sensibilité réduite au bruitdes images et l’ouverture de la basse résolution et de la précision des détails de lahaute résolution, nous permettant d’accentuer précision, vitesse et taux de réussite.Nous utilisons aussi une initialisation par analyse de composantes principales (ACP)comme alignement initial afin d’accomplir un recalage entièrement automatique.

18

Page 32: Chapitre 1 Le recalage multimodal TEP-IRM

New parallel multi-resolution approach for an automatic registration ofsmall animal PET-MRI

Michael Berniera,b, Martin Lepagea, Roger Lecomtea, Luc Tremblaya, Maxime Descoteauxb

Universite de Sherbrooke, Quebec, Canada

aCentre d’imagerie moleculaire de Sherbrooke (CIMS), Departement de medecine nucleaire & radiologiebCentre de rechercher MOIVRE, Departement d’informatique

Abstract

Automatic small animal registration of Positron Emitted Tomography (PET) and Magnetic Resonance Imaging(MRI) data represents a difficult problem in terms of convergence speed, accuracy and success rate. In fact,most existing registration methods are developed and applied to human brain volumes but these are not aseffective for small animal data because of the lack of intensity information in the images and often the highanisotropy in voxel dimensions (very fine in-plane resolution and large slice thickness). In this work, wepropose a new registration method that combines multi-resolution in parallel (in the same energy function)instead of sequentially. By combining low and high resolution levels of images, the method takes advantageof the low noise sensitivity and aperture at coarse levels and higher contrast and details at higher levels. Ourresults indicate a gain in convergence accuracy and speed. In addition, a PCA initialization as coarse initialalignment resulted in a fully automatic algorithm with a more successful registration rate. We quantitativelyshow that our technique outperforms state-of-the-art PET-MRI registration with classical multi-resolution, withand without PCA initialization. Using target registration error, we also show that our registration is in closeagreement with expert manual registration.

Keywords: PET, MRI, registration, multi-resolution, mutual information, simplex method

1. Introduction

The fusion of multiple medical imaging modali-ties has the potential to enhance and complement theimages in terms of sensitivity, spatial information orresolution. Images from magnetic resonance imag-ing (MRI) and positron emission tomography (PET)have entirely different contrast and information con-tent. Automatic and accurate image registration istherefore not trivial (Cizek et al., 2004). Althoughcombined PET-MRI scanners are likely to becomemore available, most centers have separate imagingsystems, often in different rooms (Pichler et al., 2008).However, integrated PET and MRI remains challeng-ing because the magnetic fields proximal to an MRIscanner interfere with the scintillation detection pro-cess in PET scanners (Zanzonico and Nehmeh, 2006).

Hence, PET-MRI registration is an important prob-lem that can provide a cost-effective alternative tocombined PET-MRI scanners.

There are numerous human brain PET-MRI reg-istration algorithms in the literature (Ashburner andFriston, 2011; Chumchob and Chen, 2009; Huang,2007; Jenkinson and Smith, 2001; Liu and Tian, 2007;Pascau et al., 2009; Roche et al., 1998; West et al.,1997; Woods et al., 1993; Zitova, 2003) and the RIREpublic benchmark human brain database can compareand evaluate novel registration algorithms (West et al.,1997). Reference (Zitova, 2003) is a good review ofregistration approaches focused on the alignment ofgeneric PET-MRI volumes of human brains. Littleis known about the performance of these algorithmswhen applied to PET or MRI images of small animals.

Preprint submitted to Medical Image Analysis March 28, 2012

Page 33: Chapitre 1 Le recalage multimodal TEP-IRM

Clinical registration methods commonly used in hu-man imaging may not perform well in animal studies,because of the lack of anatomical details and human-specific assumptions between the imaging modalitiestailored to human imaging (Vaquero et al., 2001).In human PET data, several contours and change inintensities (bone, brain surface, white/gray matterinterface, ventricles) help the image alignment forregistration algorithms. In small animal PET imag-ing, there are comparably less intensity variations andthe images represent a harder challenge for similar-ity measures that are normally successful on humandata (Hayakawa et al., 2000).

Monomodal registration (e.g. MRI-MRI or PET-PET registration) can exploit spatial information andintensity values only, but this is rarely satisfactoryfor an automatic PET-MRI registration. An initialsegmentation is often needed for good alignmentof images and convergence of the registration solu-tion (Cizek et al., 2004; Liu and Tian, 2007; Pichleret al., 2008). Since the image intensity content of PETand MRI images is highly uncorrelated, especially insmall animal imaging, initialization is a crucial andoften underestimated step for a successful and auto-mated PET-MRI registration.

Recent studies propose to use Parzen-windows (Thevenaz et al., 1998; Xu et al., 2008),Gaussian analysis of overlapping regions (Leiva-Murillo and Artes-Rodriguez, 2004), or a histogramcomparison using statistical information (Lau et al.,2001; Liu and Tian, 2007; Milko et al., 2009; Rocheet al., 1998), combined with statistically-based mea-sures, such as mutual information (MI) (Malandain,2006) and correlation ratio (CR) (Lau et al., 2001;Malandain, 2006). In fact, MI and CR were shownto be effective for PET-MRI registration. Others usefeature-based approaches like landmarks or pointsof interest selection, or a combination of featuresand statistical measures, as in (Hellier and Barillot,2000). Some applied a MI maximisation combinedwith an edge detection in a sequential, pyramidalcoarse-to-fine approach (Chen and Varshney, 2000;Thevenaz et al., 1998; Thevenaz and Unser, 1996).Such methods using anatomic characteristics arenot appropriate in a generic multimodal registrationsuch as PET-MRI fusion (Zitova, 2003). Rangarajan

et al. (Rangarajan et al., 1999) even applied MI onextracted points of borders. Powell’s optimizationmethod (Maes et al., 1997) has been employedto register MR, CT, and PET images of a humanbrain that differ by a similarity transform. A studyof the performance of different methods for thejoint probability estimation in muscle fibre imagesregistration was done in (Likar and Pernus, 2001).

The classic, sequential multi-resolution approachemploys multiple levels of resolution of the volumesto process in order to overcome noise sensitivity aswell as to accelerate the optimizing process algo-rithms (Qin and Zhuang, 2003; Ritter et al., 1999).This method, applied to registration, implies to firstalign the lowest resolution levels of the volumes andthen use its resulting transformation to initialize thealignment of the second resolution level, until the op-timal registration at the original volume resolutions.A comparison of some of these pyramidal scheme isshown in (Pluim, 2001). However, this classical ap-proach is often effective with pre-masked data, sincestructures outside the brain may become aligned in-stead of the brain itself, especially in low-resolutionlevels (Pascau et al., 2009). We are seeking to de-velop a robust algorithm able to effectively register im-ages of a variety of anatomical locations and diseases(e.g., healthy brain, damaged brain and bone cancer).Hence, we need to remove pre-processing steps suchas segmentation, masking, denoising that may lead toconvergence problems (Pascau et al., 2009).

In this work, we propose a novel approach to themulti-resolution scheme: A parallel multi-resolutionsimilarity measure combining normalized MI-basedresponses of multiple resolution levels simultaneouslyinstead of sequentially, as in classical level-by-levelapproaches (Pascau et al., 2009; Qin and Zhuang,2003; Thevenaz et al., 1998; Thevenaz and Unser,1996). We also use a PCA initialization to obtain afast, fully automatic accurate registration. This nov-elty is highlighted with accurate automatic registra-tion on 3 different small animal databases; a femoralbone cancer PET-MRI study, a PET-MRI rat brainstudy, and a MRI-MRI rat brain tumor study. We eval-uate the performance of our technique against a classi-cal sequential multi-resolution algorithm and a regularone-pass registration algorithm, using a normalized

2

Page 34: Chapitre 1 Le recalage multimodal TEP-IRM

MI-based similarity measure, with and without PCAinitialization. We show that a simultaneous multi-resolution with an appropriate PCA initialization canoutperform classical approaches, both in terms of reg-istration accuracy and in convergence speed of thealgorithm. In short, our parallel approach has the ca-pability to overcome the disadvantages of a sequentialmulti-resolution registration.

2. Automatic Registration

An automatic registration pipeline for PET-MRIvolumes requires an energy minimization scheme thatoptimizes a similarity measure between the two vol-umes. The general energy minimization process tofind the optimal transformation parameters is definedby:

T ∗γ = argmaxγ{E(mri,Tγ(pet))}, (1)

where γ contains all transformation parameters (trans-lation, rotation, scaling), Tγ is an intermediate affinetransformation given at a certain iteration using γ, Eis a similarity measure between two volumes (heremri and pet), and T ∗γ is the optimal transformation. Itis crucial for the similarity measure to be maximal ifthe volumes are perfectly aligned.

2.1. Transformations

3D affine transformations have been widely used inregistration algorithms involving brains, inter-modaldatasets of non-deforming structures. In (Andrei,2006), transformations are grouped in three differentpossible definitions of affine transformations, usingmore or less degrees of freedom (DoF):

• 12 DoF: Typical affine transformation with 3DoF for translation, 3 DoF for rotation, 3 DoFfor scale factor along each axis and 3 DoF forskewness are more appropriate to 3D volumematching of slightly deformable datasets (Maeset al., 1997).

• 9 DoF: Three translations, three rotations, threescales, along each axis. This can be defined asa similarity affine transformation or an affinetransformation without shearing.

• 8 DoF: Two translations, three rotations, twoscale factors and skew distortion. This is moreappropriate to describe a model that transforms3D object space into 2D image space.

The number of DoF has a large impact on conver-gence and speed. More DoF can result in a more ac-curate registration, at the cost of lower speed and withmore possibilities to encounter local energy minima.In intra-subject datasets, where shearing is minimal,a 9 DoF is sufficient to obtain an accurate 3D regis-tration. Therefore, the 9 DoF affine registration wasselected in this work.

2.2. Similarity measures

In PET-MRI registration, MI and correlation ra-tio (CR) measures have been found to be useful inproviding a quality rating to a set of transformationparameters (Lau et al., 2001; Liu and Tian, 2007; Ma-landain, 2006; Milko et al., 2009; Roche et al., 1998;Woods et al., 1998). MI is a statistical measure basedon entropy and CR is a functional measure basedon intensity variations (Malandain, 2006). In caseswhere MI fails, CR often performs better, and viceversa (Roche et al., 1998). The comparison of MI toother similarity measures, such as cross-correlation, isdescribed in (Penney et al., 1998; Roche et al., 2000).Here, we choose to use the normalized mutual in-formation (NMI) as our quality measure, as definedin (Strehl and Ghosh, 2003; Yao and Regina, 2003),a measure independant of the overlap region of thevolumes. Multiple definitions of normalized mutualinformation exist in the literature (Cahill et al., 2008;Malandain, 2006; Strehl and Ghosh, 2003; Studholmeet al., 1999; Witten and Frank, 2005; Yao and Regina,2003). Here, we choose one of the defined NMI, ameasure of the cohesiveness and the strength of therelation within a group of variables. Near-zero NMIindicates that the variables in the group are essentiallystatistically independent, therefore the volumes arenot aligned. A maximal NMI implies highly corre-lated volumes, hence an optimal affine transformation.Let R be the reference MRI volume and F the floatingPET volume, the NMI measure is defined as:

NMI(R, F) =H(R) + H(F) − H(R, F)

max(H(R),H(F)), (2)

3

Page 35: Chapitre 1 Le recalage multimodal TEP-IRM

where H(R) and H(F) are the entropy of the referenceMRI and floating PET volumes:

H(R) =Gs�

i

pR(i) ∗ log(pR(i)),

H(F) =Gs�

i

pF(i) ∗ log(pF(i)),

H(R, F) =Gs�

i

Gs�

j

p(i, j) ∗ log(p(i, j)),

(3)

where Gs is the number of different possiblegrayscale values that i and j can take, pV(i) is theprobability of occurrence of a grayscale value i involume V and p(i, j) is the joint probability of theMRI and PET volume. To compute images entropyH(F), H(R) and mutual entropy H(R, F), we use abinarized histogram of volume V as an approximationof the intensity probability pV . The joint probabilityof grayscale intensity values i and j, p(i, j), is thenormalized sum of all pairs (i, j) found at the samevoxel position, for each of the volumes correspondingvoxels. In a perfectly aligned MRI-MRI registration,the probability values in the diagonal axis of the his-togram would be much higher than the others, whilein an unaligned match they would be scattered. Ina perfectly aligned PET-MRI registration, however,instead of having the mutual probability located ex-clusively on the diagonal axis, clusters will form atspecific points in the histogram, according to match-ing intensities in corresponding regions or tissues ofthe volumes. The mutual entropy goal is to quantifythe scattering of the mutual probability histogram,therefore it is an adapted measure of alignment formultimodal registration. Figure 1 illustrates the his-togram and the scattering of the mutual probability ofaligned volumes.

Optimization schemes using binarized histogramsare generally slower, since they do not approximate aderivative form of the joint entropy H(R, F), but theygenerally converge more successfully to the optimalsolution (Maesand et al., 1999). Recent studies usingParzen-windows (Xu et al., 2008) or Gaussian anal-ysis (Leiva-Murillo and Artes-Rodriguez, 2004) arealso effective and faster, but since they use the gradi-ent of intensity information, their convergence is notoptimal for images that greatly differ from the gold

a)

b)

Figure 1: Representation of a potential mutual proba-bility histogram between two volumes with two differ-ent transformation matrix. a) is an unaligned dataset,while b) shows clusters of paired intensities forminginstead of scattered data. The mutual information is ameasure derived from the entropy of this histogram,which is a quantification of the scattering.

standard (Maesand et al., 1999). The main advantageof the binarized form of the histogram is its lowersensitivity to global noise or low intensity variationsin volumes, hence is faster to compute. During the op-timization process, at each iteration, we compute thebinarized histogram of the fixed MRI volume and thefloating PET volume using the estimated transforma-tion parameters at that iteration. Then, we computethe similarity ratio in order to evaluate the quality ofthe given set of transformation parameters. We willuse a 32-bins binarized histogram, since for most med-ical images, the estimated appropriate number of binswas found to be in the range of 30 to 60 bins (Hahnet al., 2010).

4

Page 36: Chapitre 1 Le recalage multimodal TEP-IRM

a)

b)

Figure 2: Geometric representation of the simplexalgorithm. In a), the image shows a simplex of nvertices X, which are potential sets of transformationparameters, with a high variance (σ) between eachother. In b), the image shows that at subsequent it-erations, the simplex evolves by contracting aroundthe solution, therefore the variance is reduced as itapproaches the optimal solution.

2.3. Energy minimization using downhill simplex(DHS)

Our similarity measure is based on the binarizedhistogram and therefore the minimization needs tofind an optimal solution without computing deriva-tives of the histograms. As described in (Liu and Tian,2007), the downhill simplex (DHS) optimization isan efficient method for N-dimensional unconstrainedzeroth-order minimization. It begins with N + 1 ver-tices that define a simplex in N-dimensional space andattempts to move them as to pinpoint the minimum.Each vertex is a potential set of transformation param-eters which constrains the optimal solution. Giventhe N + 1 vertices x, where x j contains a set of trans-formation parameters, and their respective similaritymeasure E, the iterative procedure is given by Algo-rithm 1. Following these operations, all N +1 verticesx, containing the set of registration parameters, willall be equal, and will have converged to the solution.Figure 2 illustrates the set of vertices, or potential set

of transformation parameters, which forms the geo-metric N-dimensional simplex that need to convergeinto a single vertex.

Figure 3 shows an animation of the DHS compu-tation in real-time for a 3D set of transformation pa-rameters for PET and MR images acquired from a ratmodel of femoral bone cancer.

Play Pause Stop

Figure 3: T1-MRI and 18F-FDG-PET volumes regis-tration of a femoral bone tumor. This animation of theDHS computation shows only a sagittal slice of thealigned volumes (the movie can be visualized with arecent version of Acrobat or Foxit PDF reader).

3. Methods

3.1. Initialization with a Principal Component Anal-ysis (PCA)

Intensity-based functions like MI or NMI andfunctional-based methods such as CR lack sufficientspatial information and hence, it is difficult to es-timate an optimal alignment of the images withoutmanually introducing initial translations and rotations.Local maxima and interpolation artifacts influence theconvergence of algorithms towards local extrema andtherefore lead to mis-registration (Liu and Tian, 2007).

5

Page 37: Chapitre 1 Le recalage multimodal TEP-IRM

a) b)

Figure 4: The centers of mass and eigenvectors givenby the PCA of the MRI and PET volumes can providea coarse initial alignment for the registration pipeline.d illustrate the distance between centers of mass and(θ1, θ2, θ3) are the angles between eigenvectors in ax-ial, coronal and sagittal planes respectively.

In small animal imaging, voxel dimensions are oftenhighly anisotropic with a high in-plane resolution anda large slice thickness. It has been suggested to injectspatial information from a gradient mapping of thevolumes to reduce convergence to local extrema (Liuand Tian, 2007). However, this procedure does notact on the initialization step such that convergence ofinitially poorly registered volumes can remain prob-lematic. Convergence can be favored by a near-goalinitialization, where the optimization scheme is usedto tune the initial coarse transformation parameters.

In (Lu and Chen, 2007), a PCA on both fixed andfloating volumes is used to estimate initial translationand rotation parameters on the clustered volumes. ThePCA computation needs a selection of 3D spatial posi-tions that is based on the images intensities. Here, theselection is found using an expectation-maximization(EM) algorithm (Frosio et al., 2008) to remove noisy-background and to select points defining the volume.The PCA procedure, for PET and MRI volumes, isdetailed in Algorithm 3. As illustrated in Figure 4, dis-tance between the centers of mass provides the initialtranslation, as the initial axial, coronal and sagittal ro-tation angles can be extracted using the eigenvectorsassociated to the volumes.

Angles between projected eigenvectors in axial,coronal and sagittal planes from both the PET-MRIvolumes, combined with the center of mass distance(d, θ1, θ2, θ3 in Figure 4), provide an initial set of pa-rameters used for the first coarse transformation. Fig-

a) b)

Figure 5: Example of the PCA initialization effecton a misaligned PET-MRI brain data, coronal view.The axes shown are a representation of two of thethree eigenvectors computed by the PCA, placed onthe centroid of their respective volumes. The red andthe blue vectors, associated respectively with the PETand MRI volumes, are directly used to compute aninitial coarse transformation.

ure 5 illustrates the effect of the PCA initialization ona dataset.

3.2. Parallel multi-resolution measure

Multi-resolution schemes have been used in previ-ous work to address the convergence problem by ei-ther reducing the number of iterations or reducing thelocal maxima problem (Cizek et al., 2004). The mainidea of these approaches is to use low-resolution vol-umes in order to initialize the higher-resolution ones,as a coarse-to-fine scheme. This strategy reduces thenumber of iterations required for convergence, butthe local maxima problem increased in some cases.Therefore, as described in classical methods withoutmulti-resolution (Roche et al., 1998; Woods et al.,1993), the initial step of the DHS is crucial to con-verge to the global maxima, and a classical multi-resolution scheme only considers the highly degradedresolution information to do so. Hence, it tends to beinaccurate (Qin and Zhuang, 2003; Ritter et al., 1999).If a PCA is used to estimate the coarse initialization,a less sensitive coarse-to-fine registration tuning isneeded to reduce the number of iterations and localmaxima problem.

In this work, we combined the information of theregistration of these different levels using an adaptiveweighting factor. In this approach, more weight isinitially placed on the coarsest levels; the weight is

6

Page 38: Chapitre 1 Le recalage multimodal TEP-IRM

then gradually shifted to the finest level. As itera-tions go, the simplex moves itself towards the optimaltransformation. Using σ as the variance between thesimilarity measure of the vertices forming the sim-plex (see Figure 2), we obtain a good indicator of thecompletion of the algorithm.

The initial transformation can be far from the fi-nal solution, such that the coarse resolutions of thevolumes are first exploited to provide an initial trans-formation. However, the transition between levelsof resolution may be too drastic for the similaritymeasure, thus causing a discontinuity of the function.This discontinuity has no direct effect on the downhillsimplex computation, but can be the source of mis-registration by adding local maxima to the similarityfunction. One way to prevent this is by smoothing thetransition between the levels of resolution. We alsowant to put more emphasis on the original resolutiontowards the end of the computation. If we directlyuse the σ parameter, the transition from coarse to fineresolution is too fast in initial iterations, and too slowtowards the end. This can be first corrected by thefollowing smooth weighting function defined by:

α(σ) =1.0 + exp

0.5 − σ1−σ

σ1

T

−1

, (4)

where α ∈ [0, 1], T is a constant shaping the curve inorder to give a smooth transition for the α parameter,σ1 is the variance of the similarity measures E j’s atthe initialization (see Algorithm 1) and σ is the vari-ance at the current iteration during the DHS process(see Figure 6). The σ parameter in the DHS optimiz-ing process highlights the disparity between the setsof transformation parameters tested. From a geomet-ric point of view, σ is an indicator of the simplex size(see Figure 2). Here, T is empirically set to 1/11 for asmooth weighting transition between the lower levelsto the higher levels.

In Figure 7, we show how the simplex evolutionindicator α is used in Algorithm 2 to influence themulti-resolution levels weighting factors ω, usingthree levels of multi-resolution. Initially each multi-resolution level has a uniform equal weight of 1

3 . Atearly iterations of the optimization process, as shownin Figure 7, α is low, thus weights for coarsest levels

Figure 6: Example of smoothing curves given bychanging the T value. The x-axis, σ represents theprogression of the optimization algorithm, associ-ated with the size of the simplex, while the y-axisshows the associated α value used in the parallel multi-resolution measure.

will be more important than those of the finest lev-els. As α evolves, the level priority will graduallyshift towards the finest levels, lowering weights of thecoarsest ones, to obtain a high success rate of a fineregistration.

An iteration of the optimization process goes asfollows: We compute, in parallel, a quality measureEl(mril,Tγ(petl)), for each level l. In order to obtainour combined quality measure E, we use ω given byAlgorithm 2 in Appendix A:

E =�

l

ωl · El (5)

Hence, we name our technique PMCM (ParallelMulti-resolution Combined Measure).

3.3. Using PMCM initiated with PCA

Our registration pipeline starts by constructing,for each volume, a pyramid of N lower resolutionimages using smoothing and undersampling of thedatasets (Chen and Varshney, 2000; Thevenaz et al.,1998; Thevenaz and Unser, 1996). The MRI pyramidis set as the reference volume, and the PET pyramidis the floating one, resampled in the MRI resolutionspace. Preliminary experiments suggested that set-ting a number of 3 or 4 levels was well adapted to

7

Page 39: Chapitre 1 Le recalage multimodal TEP-IRM

3 levels PMCM weight factorsEarly iterations ( = 0.19)

3 levels PMCM weight factorsLater iterations ( = 0.63)

3 levels PMCM weight factorsLatest iterations ( = 0.89)

Figure 7: Example illustrating the effect of the α-factor on each level weight ω with 3 levels of multi-resolution. At first, the weight of each level is set tobe uniform at 1/3. The α parameter, which refers tothe completion of the simplex algorithm, will boostthe level weights enclosing it, as explained in Algo-rithm 2.

our datasets. More levels degraded the volumes and

less levels did not take full advantage of the multi-resolution approach. We thus selected the number oflevels N = 3.

The PCA initialization is then applied to the lowestlevel of structures to obtain a robust coarse initialtransformation. The optimization process that followsis compared to the classic process in Figure 8: Weinput the reference MRI pyramid and the PET PCA-transformed pyramid into a DHS to determine the 9unknown affine transformation parameters (Woodset al., 1998, 1993) previously defined here.

During the first step of the DHS, 10 initial affinetransformations around a near-neighbor of the PCAinitialization are computed. Each of these 10 sets oftransformation parameters represents a vertex of thesimplex. For each of the vertices, the transformed3-level-PMCM are computed and, for each level, theresulting similarity measure based on the normalizedMI (NMI) is stored. Hence, for each set of parame-ters and levels of resolution, we have three resultingsimilarity measures (3 multi-resolution levels).

We combine the three NMI of each vertices withan adaptive weighting factor ω, as described in Al-gorithm 2. This resulting combination is the parallelmulti-resolution combined measure (PMCM) whichrole is to quantify the value of a potential set of affinetransformation parameters.

To the best of our knowledge, this combined multi-resolution similarity measure is novel and used forthe first time as the quality score for a given set oftransformation parameters. In the sequential approachof multi-resolution, illustrated in Figure 8, the DHSis computed for a single level at a time; this solu-tion initializes the simplex of the next level, and soon. A weakness of this approach is that early conver-gence to a non global optimum would result in a badinitialization of all subsequent levels. Our methoduses all levels simultaneously, lowering chances ofconverging to false optimum.

3.4. Algorithms and Experimental Data

We evaluated the impact of the PCA initializationon the PMCM method and we compared the resultswith a classical state-of-the-art NMI-based approachwithout multi-resolution (Woods et al., 1993) with

8

Page 40: Chapitre 1 Le recalage multimodal TEP-IRM

a) b)

Figure 8: Schematic representation of DHS registration process. a) illustrates the classical pipeline of adownhill simplex registration. During an iteration, an affine transformation is extracted from the simplex,transforming the current PET volume. This transformed PET volume is compared to the MRI using the NMImeasure, which updates the simplex to converge towards the optimal transformation. If we have three levelsof multi-resolution, we have to repeat this approach three times, sequentially. On the contrary, b) illustratesour PMCM approach integrating the multi-resolution in the DHS in parallel. Instead of a straightforwardNMI computation, we use all multi-resolution levels in the NMI measure. As the PET volume is transformedat all its levels, we compute an NMI measure between each of the corresponding MRI volumes. If we usethree multi-resolution levels, these three measures are combined with the blending of Algorithm 2 to form thePMCM.

and without PCA initialization. This approach is re-ferred to as classical in the tables of results and isused to illustrate the influence of the PCA and themulti-resolution in the optimization scheme. The per-formance of these algorithms is tested on three differ-ent rat studies: PET-MRI femoral bone tumor studywith 22 pairs of rat acquisitions, a PET-MRI brainstudy with 9 sets of rats and a MRI-MRI brain studywith 14 rats. Their respective sizes and parametersare summarized in Table 1.

Multimodal registration accuracy and validation isa challenging issue as volumes often do not representthe same information and ground truth is not avail-able. Several techniques are employed to evaluateregistration: qualitative visual inspection by experts,computation of the average fiducial registration er-ror (FRE) or target registration error (TRE) (Lavelyet al., 2004) or interpretation of the similarity measurecriterion directly (Kim et al., 2005) (the higher thebetter).

A qualitative inspection can be useful in a super-vised algorithm, but is not adequate for an automaticsolution, since it is not a qualitative descriptor of theaccuracy of the technique. In some cases, when 3Dmultimodal volumes are involved, it can be trickyto correctly evaluate the quality of a registration. Inour experiment, we used the qualitative inspection toevaluate the success rate of the algorithm: If a finaltransformation was really out of the expected range,the registration was not successful. This method isonly used to discard badly registered volumes to in-fluence the success rate of the technique.

By interpreting the similarity measure (NMI), wecannot evaluate the precision of the registration. TheNMI is used as a quantification of a statistical ap-proach without an a priori aspect of the images tobe aligned. In other words, if a NMI measure is thehighest, it does not mean that it was the best align-ment of the images; it means that statistically, it wasthe best possible registration outcome given the input

9

Page 41: Chapitre 1 Le recalage multimodal TEP-IRM

Table 1: List of datasets used for registration.Subject Quantity Modality Dimension (voxels) Voxel Size (mm3)

Femur study 11C-methionine-PET 240 × 30 × 240 0.25 × 1.175 × 0.25(Table 2)

6MRI-T1 256 × 256 × 30 0.2344 × 0.2344 × 1.5

Femur study 18F-NaF-PET 160 × 30 × 160 0.5 × 1.175 × 0.5(Table 2)

9MRI-T2 256 × 256 × 35 0.2344 × 0.2344 × 1.5

Femur study 18F-FDG-PET 320 × 30 × 320 0.25 × 1.175 × 0.25(Table 2)

7MRI-T1 256 × 256 × 30 0.2344 × 0.2344 × 1.5

Brain study 18F-FDG-PET 160 × 160 × 30 × 28 0.3125 × 0.3125 × 1.5(Table 3)

4MRI-T1 128 × 128 × 10 0.2344 × 0.2344 × 1.5

Brain study 18F-FDG-PET 200 × 200 × 63 × 28 0.5 × 0.5 × 1.175(Table 3)

5MRI-T1 256 × 256 × 30 0.1953 × 0.1953 × 1.0

Brain study MRI-T1 256 × 256 × 10 0.1563 × 0.1563 × 1.5(Table 4)

14MRI-T1 256 × 256 × 10 0.1563 × 0.1563 × 1.5

informations for the two volumes.The NMI score varies between the type of datasets.

Since the NMI evolves between 0 and 1, a MRI-MRIintra-subject response would be really high (near 1),a MRI-MRI inter-subject NMI measure would stillbe high, but slightly lower (between 0.8 and 1), but aPET-MRI test would give a result between 0.1 and 0.5,and still be the best registration outcome. PET andMRI being two different modalities, the likelihoodof the datasets cannot be as high as in a monomodalcomparison.

The precision of potentially successful registrationcan be evaluated using a quantitative measure, suchas FRE or TRE, as described in (Fitzpatrick and West,2001; Ma et al., 2007). Since fiducials are artificialmarkers added at acquisition and none of our datasetswere acquired with such markers, we tested our accu-racy using a target registration error measure (TRE).We used the distance after registration between cor-responding points not used in calculating the regis-tration transform (Fitzpatrick and West, 2001). Theterm “target” is used to suggest that the points aredirectly associated with the regions of interest that arecentral to the multimodal alignment. In the presentcase, the tumors (bone and brain) are the targets in ourdatasets. In the few cases where there was no tumorto align, we used natural markers, such as the bones,

that appeared in both MRI and PET. Figure 12 showssuch example of ROI selected using natural markers.

As opposed to FRE, TRE does not require a point-based registration algorithm and can be used in avoxel-based algorithm such as ours. In (Ma et al.,2007), it is shown that even if we had a point-basedregistration algorithm, TRE is still a more accurateand significant measure than FRE in a practical way,since it focuses only on the region of interest. In Fig-ure 9, we show an example of a manual selection ofa region of interest (ROI). The TRE is the Euclideandistance between the centers of corresponding ROI inmillimeters, as reported in (Woods et al., 1998, 1993;Yokoi et al., 2004). As a dataset can have multipleROI, we only keep the poorest TRE observed for ourresults. Each ROI were selected manually by experts.

Our technique was tested with and without 3 levelsmulti-resolution, with and without PCA initialization,using a NMI similarity measure. We noted the successrate of the algorithms, the TRE of each datasets, theirNMI and the number of iterations required to findthe optimal transformation. Unsuccessful registration(TRE over 5 mm) decreased the success rate only,their TRE is not computed in the tables, as they wereperceived as aberrant datasets. All the results arepresented in Tables 2 to 4.

10

Page 42: Chapitre 1 Le recalage multimodal TEP-IRM

Without PCA

With PCA

Figure 9: Example of a PCA initialization that im-proved the convergence of the registration for a PET-MRI femoral bone tumor data. The above imagesillustrate the unaligned PET and MRI volumes withtheir respective regions of interest. The bottom im-ages show the effect of the PCA. It did not align cor-rectly the dataset, but it was enough for the PMCMto converge into an optimal transformation.

4. Results

4.1. PET-MRI femoral bone tumor database

Figure 11 shows an example of an accurate femoralbone database image registration. As the MRI vol-umes were acquired along the sagittal orientation andthe PET volume along the axial orientation (Table 1),a loss of precision due to data interpolation was ex-pected. The PET images also have a limited field ofview (FOV) width compared to the sagittal and coro-nal views of the MRI acquisition (Figure 11), whichcan lead to convergence problems. Figure 10 shows asuccessful real-time PET-MRI volumes registrationin an axial view.

Table 2 shows that using a 3-level parallel multi-resolution facilitated the convergence of the DHS.This is seen by a reduced average number of iterations

Slow Normal Fast Play/Pause Stop

Figure 10: Animation in an axial view of successfullyaligned femur bone volumes using our new technique(the movie can be visualized with a recent versionof Acrobat or Foxit PDF reader). Captures 2 to 5illustrate the femoral bone tumor, while the lattercaptures 16 to 19 shows the healthy right femur of thesubject.

needed to converge, hence reducing computation time.It also shows that the quality of the alignment wasslightly better using our technique compared to se-quential or classical approaches. Table 2 also showsa slightly decreased TRE (in mm) between the se-quential multi-resolution approach and our PMCMtechnique (values in bold). In the lower part of thetable, we see that for our PMCM, in 18 of 22 pairsof rat acquisitions (success column), a PCA initial-ization was not required to converge to an optimalregistration. For the 4 other cases, when the PCAwas not used, the final transformation was far fromthe expected results, which could be explained by aninitial translation really far from the final position ofthe floating volume. As explained before, the initialtransformation is very important to maintain a goodconvergence success rate, and it is not surprising thatfor 3 of these 4 cases, the PCA corrected the initialtransformation sufficiently for the PMCM to converge

11

Page 43: Chapitre 1 Le recalage multimodal TEP-IRM

Figure 11: Successful femur PET-MRI affine registration using PMCM with PCA: TRE of 0.11 mm, 42iterations with a NMI of 0.234.

(success rate of 95.5%). An example of a determinantPCA initialization is shown in Figure 9. The PMCMapproach failed for only one dataset. It is reassuring tonote that the sequential and classical approaches alsofailed for this particular dataset where convergence tofalse positives was noted.

Overall, the biggest difficulty of this dataset was thedifferent FOV and axes of acquisition. The 18F-NaF-PET dataset (e.g. Figure 11) was the most difficultmodality to align with the MRI because of its lack ofanatomical details around the femur bone. PMCMproved to be the most effective to overcome thesedifficulties.

4.2. PET-MRI rat brain database

Figure 12 shows two examples of an accurate ratbrain MRI and 11C-methionine-PET registration. Vox-els in this dataset are highly anisotropic and, in somecases, images are quite noisy. Two of the MRI vol-ume showed parts of the rat body that were notpresent in the PET volume. Therefore, there is anincreased possibility of potential convergence prob-lems. Table 3 illustrates a slightly higher averageerror than for the other two studies. The TRE is alsorelatively constant for all algorithms, indicating thatour PMCM approach performed as well as the clas-sical approach. However, our technique decreased

12

Page 44: Chapitre 1 Le recalage multimodal TEP-IRM

Table 2: Mean errors of 22 sets of PET-MRI rat femur bone tumors images after affine registration ( 11C-methionine-PET - MRI and 18F-FDG-PET - MRI and 18F-NaF-PET - MRI)Algorithm ∆x (mm) ∆y (mm) ∆z (mm) TRE (mm) Iterations Success Quality (NMI)

PCA0.34 ± 0.22 0.36 ± 0.23 0.20 ± 0.19 0.53 ± 0.26PMCM[0.04, 1.21] [0.06, 1.26] [0.04, 0.98] [0.11, 1.58]

39 ± 16 95.5% 0.201 ± 0.096

0.64 ± 0.21 0.69 ± 0.29 0.21 ± 0.28 0.96 ± 0.32Sequential[0.18, 1.44] [0.10, 1.51] [0.05, 1.34] [0.25, 1.65]

26 ± 14 63.6% 0.188 ± 0.088

0.75 ± 0.25 0.65 ± 0.18 0.19 ± 0.13 1.01 ± 0.36Classical[0.18, 1.13] [0.14, 1.21] [0.09, 1.36] [0.22, 1.75]

49 ± 12 77.3% 0.187 ± 0.096

No PCA0.54 ± 0.25 0.58 ± 0.27 0.22 ± 0.19 0.82 ± 0.31PMCM[0.14, 1.21] [0.16, 1.26] [0.08, 1.01] [0.32, 1.78]

69 ± 23 81.8% 0.191 ± 0.101

0.68 ± 0.21 0.61 ± 0.24 0.17 ± 0.15 0.93 ± 0.29Sequential[0.11, 1.10] [0.20, 1.22] [0.10, 0.99] [0.25, 1.90]

42 ± 19 68.2% 0.189 ± 0.098

0.74 ± 0.22 0.65 ± 0.19 0.19 ± 0.15 1.00 ± 0.29Classical[0.13, 1.14] [0.19, 1.11] [0.10, 1.01] [0.25, 1.88]

65 ± 18 54.5% 0.186 ± 0.108

*Values illustrate the mean and standard deviation of the spatial deviation. Values in square brackets representthe [min,max] range of possible error for each parameter, ignoring mismatched results.

Table 3: Mean errors of 9 sets of rat brains 11C-methionine-PET - MRI images after affine registration.Algorithm ∆x (mm) ∆y (mm) ∆z (mm) TRE (mm) Iterations Success Quality (NMI)

PCA1.26 ± 0.76 0.73 ± 0.63 1.55 ± 0.98 2.12 ± 1.03PMCM[0.37, 1.56] [0.26, 1.31] [0.75, 2.10] [1.05, 3.01]

40 ± 7 100% 0.241 ± 0.021

1.42 ± 0.66 0.99 ± 0.41 1.59 ± 0.61 2.35 ± 0.93Sequential[0.82, 2.01] [0.51, 1.31] [0.94, 2.39] [1.35, 3.19]

38 ± 8 88% 0.238 ± 0.039

1.47 ± 0.76 0.96 ± 0.55 1.48 ± 0.87 2.30 ± 0.98Classical[0.78, 2.12] [0.43, 1.75] [0.62, 2.12] [1.08, 3.29]

56 ± 17 100% 0.237 ± 0.027

No PCA1.36 ± 0.96 0.74 ± 0.59 1.41 ± 0.68 2.09 ± 0.81PMCM[0.48, 1.56] [0.26, 1.29] [0.65, 1.99] [0.88, 2.80]

62 ± 20 88% 0.239 ± 0.022

1.51 ± 0.52 0.82 ± 0.44 1.21 ± 0.67 2.10 ± 0.81Sequential[0.98, 1.94] [0.43, 1.55] [0.62, 1.81] [1.25, 3.02]

47 ± 22 88% 0.238 ± 0.024

1.49 ± 0.62 0.96 ± 0.54 1.35 ± 0.77 2.22 ± 0.91Classical[0.88, 1.84] [0.43, 1.75] [0.42, 1.81] [1.06, 3.06]

59 ± 15 78% 0.238 ± 0.028

*Values illustrate the mean and standard deviation of the spatial deviation. Values in square brackets representthe [min,max] range of possible error for each parameter, ignoring mismatched results.

the average number of iterations needed for conver-gence, compared to the classic approach, but not asmuch as the sequential approach. As for the previ-ous dataset, the PCA improved the convergence suc-cess for some pairs: the two of the nine experiments

that contain a different anatomical coverage could notconverge without a PCA initialization in a classicalmethod, and only one was not successful with themulti-resolution approache without PCA. The sequen-tial multi-resolution is the only one that could not

13

Page 45: Chapitre 1 Le recalage multimodal TEP-IRM

Figure 12: Successful 11 C-methionine-PET - MRI rat brain affine registration using PMCM with PCA. In redand blue are a set of two ROIs used to compute their TRE of 0.55 mm.

overcome the difficulty of the different anatomicalcoverage. The sequential technique uses only a de-graded version of the volume to estimate the initialtransformation. It found a local optimal transforma-tion that was remote from the required transformation.Our PMCM approach was successful because it alsoconsidered the original volumes at every iteration ofthe algorithm.

4.3. MRI-MRI rat brain database

The proposed method was further tested onmonomodal MRI-MRI datasets. Figure 13 showstwo examples of an accurate rat brain MRI databaseimage registration, with (top row) and without (bot-tom row) brain tumors. This monomodal MRI-MRIdataset is easier to register because the dissimilaritiesbetween images are minimal, as opposed to a mul-timodal PET-MRI datasets. Hence, Table 4 showsthat our method and the classical approach have sim-ilar, low TRE. However, Table 4 indicates that thePCA favors convergence to an optimal registration,either by reducing the number of iterations requiredor by increasing the global success rate. This wasnot the case for the sequential approach. In this spe-cial case, which is similar to traditional human braindatasets, the sequential approach was more appro-priate in terms of convergence rate. The sequentialtechnique is less sensitive to the initial transforma-tion imposed, which can be advantageous in somecases. However, combined to a PCA, our technique

performed better than the others, either by its successrate or convergence speed.

5. Conclusion

In this work, we have presented a new approach forPET-MRI registration consisting of a combined paral-lel multi-resolution similarity measure (PMCM) anda PCA initialization. We have shown that a PMCMrepresentation used in conjunction with the NMI simi-larity measure across multi-resolution levels improvesconvergence speed, success rate and accuracy of theregistration compared to classical one-resolution ap-proaches (Roche et al., 1998; Woods et al., 1993). Ourmethod differs from traditional multi-resolution tech-niques, where only one resolution level is consideredat a time (Liu and Tian, 2007). The sequential ap-proach improves convergence speed at the expense ofconvergence success (Lau et al., 2001; Lu and Chen,2007; So and Chung, 2010). Here, all 3 levels areused in parallel and are combined, thus gaining fromthe low noise sensitivity and aperture at coarse levelsand higher contrast and details at higher levels. ThePCA initialization also incorporates the initial spa-tial information omitted by NMI (Leiva-Murillo andArtes-Rodriguez, 2004). Hence, our technique notonly removes sensitivity to global noise, but it alsobetter guides the convergence by providing a coarseview of the transformation, whenever it is needed.Overall, our new registration algorithm is fully auto-matic, robust and efficient. It has a faster convergence

14

Page 46: Chapitre 1 Le recalage multimodal TEP-IRM

Table 4: Mean errors of 14 sets of MRI-MRI rat brains images after affine registrationAlgorithm ∆x (mm) ∆y (mm) ∆z (mm) TRE (mm) Iterations Success Quality (NMI)

PCA0.06 ± 0.05 0.03 ± 0.06 0.02 ± 0.04 0.07 ± 0.06PMCM[0.00, 0.10] [0.00, 0.07] [0.00, 0.06] [0.00, 0.13]

32 ± 6 100% 0.92 ± 0.05

0.07 ± 0.06 0.03 ± 0.03 0.04 ± 0.04 0.09 ± 0.08Sequential[0.00, 0.08] [0.00, 0.09] [0.00, 0.08] [0.00, 0.17]

44 ± 19 92.9% 0.92 ± 0.06

0.05 ± 0.05 0.03 ± 0.05 0.02 ± 0.04 0.06 ± 0.08Classical[0.00, 0.10] [0.00, 0.08] [0.00, 0.06] [0.00, 0.14]

36 ± 9 100% 0.92 ± 0.05

No PCA0.16 ± 0.16 0.08 ± 0.09 0.06 ± 0.05 0.19 ± 0.18PMCM[0.00, 0.29] [0.00, 0.21] [0.01, 0.12] [0.00, 0.14]

59 ± 20 85.7% 0.89 ± 0.05

0.15 ± 0.12 0.07 ± 0.10 0.09 ± 0.06 0.19 ± 0.17Sequential[0.01, 0.18] [0.01, 0.29] [0.02, 0.13] [0.04, 0.37]

49 ± 21 92.9% 0.88 ± 0.06

0.14 ± 0.11 0.07 ± 0.08 0.07 ± 0.03 0.17 ± 0.13Classical[0.02, 0.31] [0.01, 0.19] [0.02, 0.13] [0.03, 0.39]

67 ± 15 78.6% 0.88 ± 0.07

*Values illustrate the mean and standard deviation of the spatial deviation. Values in square brackets representthe [min,max] range of possible error for each parameter, ignoring mismatched results.

Figure 13: Successful MRI-MRI affine registration using PMCM with PCA. The top row is for a rat with abrain tumor for two different imaging sessions in the same day and the bottom row is for a healthy rat.

to the global optimum, is in close agreement to ex-pert manual registration and improves registration

accuracy compared to a classical approach based onmutual information. Therefore, we can tackle chal-

15

Page 47: Chapitre 1 Le recalage multimodal TEP-IRM

lenging registration problems in several PET-MRIsmall animal studies.

Acknowledgments

We thank Louis Dore-Savard, Nicolas Beaudet,Philippe Sarret, David Fortin, Jerome Cote, FernandGobeil Jr., Maggie Roy, Stephen Cunnane, OlivierClerk-Lamalice, and Lionel Carmant for providing uswith the datasets used in this study. Roger Lecomte,Martin Lepage and Maxime Descoteaux are membersof the FRSQ-funded Centre de recherche cliniqueEtienne - LeBel. Martin Lepage is the Canada Re-search Chair in Magnetic Resonance Imaging. Thisstudy was supported by the Canadian Institutes ofHealth Research and the Canada Foundation for Inno-vation.

References

Andrei, C.O., 2006. 3D affine coordinate transformations. Sci-ence .

Ashburner, J., Friston, K.J., 2011. Diffeomorphic registration us-ing geodesic shooting and Gauss-Newton optimisation. Neu-roImage 55, 967–954.

Cahill, N.D., Schnabel, J.A., Noble, J.A., Hawkes, D.J., 2008.Revisiting Overlap Invariance in Medical Image Alignment.Statistics , 1–8.

Chen, H., Varshney, P.K., 2000. A pyramid approach for mul-timodality image registration based on mutual information.Information Fusion 2000 FUSION 2000 Proceedings of theThird International Conference on 1, MOD3–9.

Chumchob, N., Chen, K., 2009. A robust affine image regis-tration method. International Journal of Numerical Analysisand Modeling 6, 311–334.

Cizek, J., Herholz, K., Vollmar, S., Schrader, R., Klein, J., Heiss,W.D., 2004. Fast and robust registration of PET and MRimages of human brain. NeuroImage 22, 434–442.

Fitzpatrick, J.M., West, J.B., 2001. The distribution of targetregistration error in rigid-body point-based registration. IEEETransactions on Medical Imaging 20, 917–927.

Frosio, I., Abati, S., Borghese, N., 2008. An expectation max-imization approach to impulsive noise removal in digitalradiography. International Journal of Computer AssistedRadiology Surgery 3, 91–96.

Hahn, D.A., Volker, D., Hornegger, J., 2010. Automatic Parame-ter Selection for Multimodal Image Registration. IEEE Trans.Med. Imaging 29, 1140–1155.

Hayakawa, N., Uemura, K., Ishiwata, K., Shimada, Y., Ogi, N.,Nagaoka, T., Toyama, H., Oda, K., Tanaka, A., Endo, K.,Senda, M., 2000. A PET-MRI registration technique for PETstudies of the rat brain. Nuclear Medicine and Biology 27,121–125.

Hellier, P., Barillot, C., 2000. Coupling dense and landmark-based approaches for non rigid registration .

Huang, W., 2007. Automatic Affine and Elastic RegistrationStrategies for Multi-Dimensional Medical Images. Ph.D.thesis.

Jenkinson, M., Smith, S., 2001. A global optimisation methodfor robust affine registration of brain images. Medical ImageAnalysis 5, 143–156.

Kim, J., Yin, F.F., Zhao, Y., Kim, J.H., 2005. Effects of x-rayand CT image enhancements on the robustness and accuracyof a rigid 3D/2D image registration. Medical Physics 32,866–873.

Lau, Y.H., Braun, M., Hutton, B.F., 2001. Non-rigid image reg-istration using a median-filtered coarse-to-fine displacementfield and a symmetric correlation ratio. Physics in Medicine& Biology 46, 1297–1319.

Lavely, W.C., Scarfone, C., Cevikalp, H., Li, R., Byrne, D.W.,Cmelak, A.J., Dawant, B., Price, R.R., Hallahan, D.E., Fitz-patrick, J.M., 2004. Phantom validation of coregistration ofPET and CT for image-guided radiotherapy. Medical Physics31, 1083–1092.

Leiva-Murillo, J.M., Artes-Rodriguez, A., 2004. A GaussianMixture Based Maximization of Mutual Information for Su-pervised Feature Extraction, in: ICA, pp. 271–278.

Likar, B., Pernus, F., 2001. A hierarchical approach to elasticregistration based on mutual information. Image and VisionComputing 19, 33–44.

Liu, J., Tian, J., 2007. Registration of Brain MRI/PET ImagesBased on Adaptive Combination of Intensity and GradientField Mutual Information. International Journal of Biomedi-cal Imaging 2007, 93479.

Lu, Z., Chen, W., 2007. Fast and Robust 3-D Image Registra-tion Algorithm Based on Principal Component Analysis, in:Bioinformatics and Biomedical Engineering, 2007. ICBBE2007. The 1st International Conference, pp. 872–875.

Ma, B., Moghari, M.H., Ellis, R.E., Abolmaesumi, P., 2007. Onfiducial target registration error in the presence of anisotropicnoise. Medical Image Computing and Computer-AssistedIntervention 10, 628–635.

Maes, F., Collignon, A., Vandermeulen, D., Marchal, G.,Suetens, P., 1997. Multimodality image registration by maxi-mization of mutual information. IEEE Transactions on Medi-cal Imaging 16, 187–198.

Maesand, F., Vandermeulen, D., Suetens, P., 1999. Compara-tive evaluation of multiresolution optimization strategies formultimodality image registration by maximization of mutualinformation. Medical Image Analysis 3, 373–386.

Malandain, G., 2006. Les mesures de similarite pour le recalagedes images medicales. Habilitation a diriger des recherches.Universite Nice Sophia-Antipolis.

Milko, S., Melvæ r, E., Samset, E., Kadir, T., 2009. Evaluationof bivariate correlation ratio similarity metric for rigid regis-tration of US/MR images of the liver. International Journalof Computer Assisted Radiology Surgery 4, 147–155.

Pascau, J., Gispert, J.D., Michaelides, M., Thanos, P.K., Volkow,N.D., Vaquero, J.J., Soto-Montenegro, M.L., Desco, M., 2009.

16

Page 48: Chapitre 1 Le recalage multimodal TEP-IRM

Automated method for small-animal PET image registrationwith intrinsic validation. Molecular Imaging and Biology 11,107–113.

Penney, G.P., Weese, J., Little, J.A., Desmedt, P., Hill, D.L.,Hawkes, D.J., 1998. A comparison of similarity measures foruse in 2-D-3-D medical image registration. IEEE Transac-tions on Medical Imaging 17, 586–595.

Pichler, B.J., Wehrl, H.F., Kolb, A., Judenhofer, M.S., 2008.Positron emission tomography/magnetic resonance imaging:the next generation of multimodality imaging? SeminarNuclear Medecine 38, 199–208.

Pluim, J., 2001. Mutual information matching in multiresolutioncontexts. Image and Vision Computing 19, 45–52.

Qin, B., Zhuang, T., 2003. Multi-resolution registration ofMR and PET images based on correlation ratio similarity.Sheng wu yi xue gong cheng xue za zhi Journal of biomedicalengineering Shengwu yixue gongchengxue zazhi 20, 233–236.

Rangarajan, A., Chui, H., Duncan, J.S., 1999. Rigid pointfeature registration using mutual information. Medical ImageAnalysis 3, 425–440.

Ritter, N., Owens, R., Cooper, J., Eikelboom, R.H., Van Saarloos,P.P., 1999. Registration of stereo and temporal images of theretina. IEEE Transactions on Medical Imaging 18, 404–418.

Roche, A., Malandain, G., Ayache, N., 2000. Unifying max-imum likelihood approaches in medical image registration.International Journal of Imaging Systems and Technology 11,71–80.

Roche, A., Malandain, G., Pennec, X., Ayache, N., 1998. Multi-modal Image Registration by Maximization of the CorrelationRatio. Research Report RR-3378. INRIA.

So, R.W.K., Chung, A.C.S., 2010. Multi-modal non-rigid imageregistration based on similarity and dissimilarity with theprior joint intensity distributions, in: Proceedings of the 2010IEEE international conference on Biomedical imaging: fromnano to Macro, IEEE Press, Piscataway, NJ, USA. pp. 368–371.

Strehl, A., Ghosh, J., 2003. Cluster ensembles—a knowledgereuse framework for combining multiple partitions. TheJournal of Machine Learning Research 3, 583–617.

Studholme, C., Hill, D.L.G., Hawkes, D.J., 1999. An overlapinvariant entropy measure of 3D medical image alignment.Pattern Recognition 32, 71–86.

Thevenaz, P., Ruttimann, U.E., Unser, M., 1998. A pyramidapproach to subpixel registration based on intensity. IEEETransactions on Image Processing 7, 27–41.

Thevenaz, P., Unser, M., 1996. A pyramid approach to sub-pixelimage fusion based on mutual information. Proceedings of3rd IEEE International Conference on Image Processing I,265–268.

Vaquero, J.J., Desco, M., Pascau, J., Santos, A., Seidel, J., Green,M.V., 2001. PET, CT, and MR image registration of the ratbrain and skull. IEEE Transactions on Nuclear Science 48,1440–1445.

West, J., Fitzpatrick, J.M., Wang, M.Y., Dawant, B.M., Maurer,C.R., Kessler, R.M., Maciunas, R.J., Barillot, C., Lemoine,

D., Collignon, A., Maes, F., Suetens, P., Vandermeulen, D.,van den Elsen, P.A., Napel, S., Sumanaweera, T.S., Harkness,B., Hemler, P.F., Hill, D.L., Hawkes, D.J., Studholme, C.,Maintz, J.B., Viergever, M.A., Malandain, G., Woods, R.P.,1997. Comparison and evaluation of retrospective intermodal-ity brain image registration techniques. Journal Of ComputerAssisted Tomography 21, 554–566.

Witten, I.H., Frank, E., 2005. Data Mining: Practical MachineLearning Tools and Techniques. Morgan Kaufmann Series inData Management Systems, Morgan Kaufmann.

Woods, R.P., Grafton, S.T., Watson, J.D., Sicotte, N.L., Mazz-iotta, J.C., 1998. Automated image registration: II. Intersub-ject validation of linear and nonlinear models. Journal OfComputer Assisted Tomography 22, 153–165.

Woods, R.P., Mazziotta, J.C., Cherry, S.R., 1993. MRI - PETregistration with automated algorithm. Journal of ComputerAssisted Tomography 17, 536–546.

Xu, R., Chen, Y.W., Tang, S.Y., Morikawa, S., Kurumi, Y., 2008.Parzen-Window Based Normalized Mutual Information forMedical Image Registration. IEICE - Trans. Inf. Syst. E91-D,132–144.

Yao, Y., Regina, S., 2003. 6 Information-Theoretic Measures forKnowledge Discovery and Data Mining. Entropy measuresmaximum entropy principle and emerging applications , 115.

Yokoi, T., Soma, T., Shinohara, H., Matsuda, H., 2004. Accuracyand reproducibility of co-registration techniques based onmutual information and normalized mutual information forMRI and SPECT brain images. Annals of Nuclear Medecine18, 659–667.

Zanzonico, P.B., Nehmeh, S.A., 2006. Introduction to clinicaland laboratory (small-animal) image registration and fusion.Conference Proceedings of the International Conference ofIEEE Engineering in Medicine and Biology Society 1, 1580–1583.

Zitova, B., 2003. Image registration methods: a survey. Imageand Vision Computing 21, 977–1000.

17

Page 49: Chapitre 1 Le recalage multimodal TEP-IRM

Appendix A. Algorithms

The DHS procedure 1 implies multiple geometricoperations (reflexion, expansion, contraction, multi-ple contraction) which goal is to reduce the simplexinto a single vertice, or affine transformation. Thechoice of the operation relies on the proximity to thefinal solution.

The weighting of each resolution level, ω 2, isdetermined according to the completion of the DHSalgorithm. α indicates the state of the algorithm, thusinfluences directly the ω of each level.

The PCA 3 provides a coarse initialization for tealignment of the volumes. Instead of using directlythe gray scale values of the MRI and PET data, welabel each voxels using an expectation-maximizationclustering. We use the labelling to exclude the back-ground noisy voxels.

Algorithm 1: Downhill Simplex (DHS) algorithm.Initialize all N + 1 vertices x j and calculate E j;Compute variance σ of E j;while σ > 0.0001 do

Order x j in ascending order according to their E j;Calculate the simplex centroid x using only the N best x j;Calculate the reflection point xr = x + (x − xN+1) and Er ;if E1 ≥ Er > EN then

/**If reflected point xr is better than the second worst, but notbetter than the best, it replaces the worst point xN+1**/;

xN+1 ← xr ; EN+1 ← Er ;

else if Er > E1 then/**If the reflected point xr is the best so far**/;

Calculate the expansion point xe = x + 2(xr − x) and Ee;/**The best of xr or xe replaces the worst point xN+1**/;

if Ee > Er then/**Expansion of the simplex**/;

xN+1 ← xe; EN+1 ← Ee;

else/**Reflection of the simplex**/;

xN+1 ← xr ; EN+1 ← Er ;

else if EN ≥ Er > EN+1 then/**If the reflected point xr is the second-worst**/;

Calculate the contraction point xc = x + 0.5(xr − x) and Ec;if Ec > Er then

/**Contraction of the worst point toward the centroid**/;

xN+1 ← xc; EN+1 ← Ec;

else/**Contraction of all points toward the centroid**/;

forall x j dox j = x j + 0.5(x1 − x j);

else if Er < EN+1 then/**If the reflected point xr is the worst of all**/;

Calculate xcc = x − 0.5(xr − x) and calculate Ecc;if Ecc > EN+1 then

/**Counter-contraction or Expansion of the worst pointin the centroid opposite direction**/;

xN+1 ← xcc; EN+1 ← Ecc;

else/**Counter-contraction or Expansion of all points in thecentroid opposite direction**/;

forall x j dox j = x j − 0.5(x1 − x j);

Compute variance σ of E j;

18

Page 50: Chapitre 1 Le recalage multimodal TEP-IRM

Algorithm 2: PMCM weight determination (ω)input : α, N: Number of levelsoutput: ω: Weights

/**Initial uniform weighting**/;

forall j ∈ ω doω = 1

N ; ω j =1N

/**Locate in which interval of the levels α is located ( j is the interval )**/;

lb← −1;for i ∈ [0,N − 1] do

if�i · 1

N−1 < α ≤ (i + 1) · 1N−1

�then

lb← i;

/**Interpolation and updating weights**/;

β← α−w· jw Distance from α to j low bound;

ω j ← ω j + (1 − β) · α; ω j+1 ← ω j + β · α;

/**Normalize weights**/;

forall j ∈ ω doω j ← ω j�

i ωi;

Algorithm 3: PCA computation for a MRI or PET volume.input : Volume, Nb: Number of clusters classifying the Volumeoutput: C,V: 3D point center of mass C and their principal axes V

/**Selection of points using Nb class EM clustering**/;

P3×N ← 0 Matrix of selected points ;Volume← Nb classes EM clustering ;forall Voxels (x, y, z) of Volume do

if Volume(x, y, z) > 0 thenP← Add Volume(x, y, z) ;

/**Averaging of selected 3D points**/;

C ← Compute centers of mass of all points in P ;forall 3D Points i of P do

Pi ← (Pi −C)

/**SVD decomposition (principal orthogonal axes)**/;

M3×3 ← 1N P · PT Covariance matrix ;

V, λ← Eigenvectors and associated eigenvalues of the SVDdecomposition of M ;V ← Sort V using λ in descending order ;

19

Page 51: Chapitre 1 Le recalage multimodal TEP-IRM

Chapitre 4

Discussion

La majorité du travail effectué au cours de cette maîtrise est centrée autour desmesures de similarité en générale et de l’approche multi-résolution du recalage. Bienque l’article démontre une contribution au niveau de ces deux aspects, il est impor-tant de mentionner que plusieurs autres approches focalisent plutôt sur la définitionmême du recalage. Dans l’article du chapitre 2, nous avons démontré la puissance denotre méthode de recalage hybride incluant une nouvelle forme de multi-résolution.L’analyse en composante principale avait pour but d’instaurer une contrainte spatialeinitiale afin de guider la convergence de l’algorithme de recalage. La multi-résolutionparallèle avait pour but de diminuer l’effet de discontinuité entre les niveaux de réso-lution, permettant ainsi d’obtenir un meilleur taux de succès avec le downhill simplex.

Lors de nos multiples expérimentations, nous avons hésité entre quelques variantesde l’information mutuelle et une variante du rapport de corrélation. Bien que nousavons choisi la MI lors des expérimentations présentées dans l’article, le CR auraitfourni des résultats semblables. Le but de la recherche n’était pas de comparer lesdeux mesures : dans quelques cas, lorsque MI donne de bons résultats, CR échoue, etvice-versa [29]. Le choix fut purement arbitraire. Dans l’outil présenté en Annexe A,on peut alterner entre les différentes mesures de similarités, ainsi qu’avec leurs ver-sions normalisées.

38

Page 52: Chapitre 1 Le recalage multimodal TEP-IRM

L’initialisation par ACP n’est pas la méthode la plus efficace pour inclure l’in-formation spatiale dans l’algorithme de recalage, puisque celle-ci est ignorée dès ladeuxième itération de l’algorithme. Bien que cela ne soit pas mentionné dans l’ar-ticle du chapitre 3, nous avons testé plusieurs autres approches hybrides. La plusfructueuse, fortement inspirée de l’exemple de recalage hybride du chapitre 1 [24],consistait à inclure en parallèle une mesure de similarité calculée sur des cartogra-phies de gradient des volumes, l’inclusion étant atténuée par une fonction de lissage.Cependant, les résultats n’étaient pas améliorés de façon significative, même que surdes jeux de données difficiles tels le fémur de l’article, ils étaient pires. L’ajout de l’in-formation spatiale globale à l’image est nuisible dans le cas d’un recalage TEP-IRMgénéral, avec des jeux de données où le contenu varie d’une modalité à l’autre.

L’ajout de points d’intérêt sélectionnés manuellement ou automatiquement acquispuis filtrés, non expérimenté au cours de cette recherche, semble être une voie plusprometteuse qu’un ajout d’information spatiale à l’initialisation. On pourrait, commepour l’ACP, utiliser ces points sélectionnés pour pratiquer un algorithme de recalageen deux volets : un recalage géométrique, n’utilisant que les points extraits, puis unrecalage iconique. Dans le cas d’une sélection manuelle de points, l’initiation seraitévidemment plus précise et fiable que l’ACP. Une sélection automatique des pointsexigerait un taux de correspondance élevé, ce qui n’est pas toujours le cas pour laTEP et l’IRM. Si un ajout d’information spatiale pour l’ensemble des itérations durecalage est envisagé, elle doit être atténuée ou utilisée pour appuyer le recalage ico-nique.

Dans un tel cas, on pourrait inclure l’information spatiale des volumes à l’aide d’unterme de régularisation. Par exemple, l’équation du recalage (Eq. 1.1), augmentée duterme de régularisation, ressemblerait à :

T∗γ = argmaxγ{E(R, Tγ(F )) + η · D(P (R), P (F ), γ)}, (4.1)

où η est la pondération du terme de régularisation D(P (R), P (F ), γ) qui dépend de

39

Page 53: Chapitre 1 Le recalage multimodal TEP-IRM

la transformation courante et des primitives extraites des volumes R et F . La résolu-tion d’un tel système, à l’aide de la descente du simplexe, s’effectuerait de la mêmefaçon qu’avec le recalage iconique actuel. L’utilisation d’un algorithme d’optimisationd’ordre supérieur dépendrait de la complexité du terme de régularisation.

Un autre aspect intéressant à investiguer est l’estimation de l’histogramme joint.L’entropie jointe, sur laquelle est basée l’information mutuelle, est calculée à partirde l’histogramme joint. Ce dernier est modifié considérablement à chaque transfor-mation testée, comparativement aux probabilités marginales. En supposant que nousdevons effectuer un travail de recalage sur une base de données importante, commeun ensemble d’acquisitions de cerveaux, l’estimation de l’histogramme joint, tel queproposé dans [7], permettrait de guider la convergence de l’algorithme de recalageiconique. Comme il est expliqué dans l’article du Chapitre 3, lors d’un recalage mo-nomodal, les données de l’histogramme joint auront tendance à se localiser sur ladiagonale de l’histogramme lorsque les deux volumes sont alignés. Cependant, dansle cas d’un recalage multimodal TEP-IRM, les données forment des grappes locales àquelques endroits, correspondant à l’appariement des contrastes des tissus provenantdes deux modalités. Ces grappes ne sont pas constantes pour toutes les acquisitionsTEP-IRM, car elles dépendent de la région observée, des traceurs, du type d’IRM.Par contre, en supposant que l’on observe toujours une région donnée du cerveau,l’estimation ou l’apprentissage des grappes formées lors de l’alignement des volumespourrait servir à ajouter de la robustesse au recalage.

40

Page 54: Chapitre 1 Le recalage multimodal TEP-IRM

Chapitre 5

Conclusion

Ce document présente le travail accompli autour d’une des problématiques impor-tant du recalage TEP-IRM. Somme toute, à travers la documentation, on constate àquel point ce problème n’est pas trivial, étant données les différences majeures entrel’IRM et la TEP, en particulier l’absence d’information anatomique de la TEP com-parativement à l’IRM. La convergence parfaite est non seulement difficile à atteindre,mais également ardue à quantifier. Il faut comprendre que l’atteinte d’une conver-gence globale parfaite n’est pas envisageable, par les problématiques engendrées àl’acquisition (différentes résolutions, tailles de voxel, artefacts propres aux modalités).L’observation de phénomènes souvent entièrement différents mais complémentaires,comme l’anatomie et les fonctions métaboliques représentées par l’accumulation dela radioactivité dans les tissus sont les sources premières des difficultés liées au reca-lage. La façon la plus fiable de contourner le manque de lien des deux modalités est,comme décrit dans l’article du Chapitre 3, l’achat d’un système d’acquisition TEP-IRM simultané, ou l’ajout de marqueurs géométriques visibles à la fois dans la TEPet l’IRM. Cependant, dans ce dernier cas, il faut remarquer qu’un tel système seraitsensible aux déformations ou changements internes aux marqueurs géométriques.

Bref, si on ne peut modifier le protocole d’acquisition, les améliorations algorith-miques se limitent à des tentatives comme la nôtre de contrôler le taux de succès du

41

Page 55: Chapitre 1 Le recalage multimodal TEP-IRM

recalage. Il faut cependant garder en tête que si le lien entre l’image acquise à l’IRMet à la TEP est trop faible, comme c’est souvent le cas pour le petit animal, alorsles taux de succès seront satisfaisants, mais pas nécessairement parfaits. L’outil danslequel est implémenté le recalage présenté dans ce mémoire est maintenant dans lesmains du PAVI (Plateforme d’Analyse et de Visualisation d’Image), plateforme deservice du Centre de recherche clinique Étienne-Le Bel, et a réussi à ce jour à recalerplusieurs nouveaux jeux de données différents.

42

Page 56: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

[1] Constantin-Octavian Andrei.« 3D affine coordinate transformations ».Science, (3091), 2006.

[2] John Ashburner et Karl J. Friston.« Diffeomorphic registration using geodesic shooting and Gauss-Newton optimi-sation ».NeuroImage, 55(3):967–954, janvier 2011.

[3] Nathan D Cahill, Julia A Schnabel, J Alison Noble et David J Hawkes.« Revisiting Overlap Invariance in Medical Image Alignment ».Statistics, pages 1–8, 2008.

[4] H Chen et P K Varshney.« A pyramid approach for multimodality image registration based on mutualinformation ».Information Fusion 2000 FUSION 2000 Proceedings of the Third InternationalConference on, 1:MOD3–9, 2000.

[5] Guo Chenguang, Li Xianglong, Zhong Linfeng et Luo Xiang.« A Fast and Accurate Corner Detector Based on Harris Algorithm ».2009 Third International Symposium on Intelligent Information Technology Ap-plication, 2(4):49–52, 2009.

[6] N Chumchob et K Chen.« A robust affine image registration method ».International Journal of Numerical Analysis and Modeling, 6(2):311–334, 2009.

[7] A C S Chung, S C H Yu, A Norbash et W M Wells.« Multi-modal image registration by minimizing Kullback-Leibler distance bet-

43

Page 57: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

ween expected and observed joint class histograms ».2003 IEEE Computer Society Conference on Computer Vision and Pattern Re-cognition 2003 Proceedings, 2:II–570–6, 2003.

[8] J Cizek, K Herholz, S Vollmar, R Schrader, J Klein et W D Heiss.« Fast and robust registration of PET and MR images of human brain. ».NeuroImage, 22(1):434–442, mai 2004.

[9] J M Fitzpatrick et J B West.« The distribution of target registration error in rigid-body point-based registra-tion. ».IEEE Transactions on Medical Imaging, 20(9):917–927, 2001.

[10] I Frosio, S Abati et N Borghese.« An expectation maximization approach to impulsive noise removal in digitalradiography ».International Journal of Computer Assisted Radiology Surgery, 3(1):91–96, 2008.

[11] D A Hahn, D Volker et J Hornegger.« Automatic Parameter Selection for Multimodal Image Registration ».IEEE Transactions on Medical Imaging, 29(5):1140–1155, 2010.

[12] N Hayakawa, K Uemura, K Ishiwata, Y Shimada, N Ogi, T Nagaoka,H Toyama, K Oda, A Tanaka, K Endo et M Senda.« A PET-MRI registration technique for PET studies of the rat brain. ».Nuclear Medicine and Biology, 27(2):121–125, 2000.

[13] Pierre Hellier et Christian Barillot.« Coupling dense and landmark-based approaches for non rigid registration ».IEEE Transactions on Medical Imaging, 22(2):217–227, 2003.

[14] W Huang.« Automatic Affine and Elastic Registration Strategies for Multi-DimensionalMedical Images ».Thèse de doctorat, 2007.

[15] M Jenkinson et S Smith.« A global optimisation method for robust affine registration of brain images. ».Medical Image Analysis, 5(2):143–156, 2001.

44

Page 58: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

[16] Jinkoo Kim, Fang-Fang Yin, Yang Zhao et Jae Ho Kim.« Effects of x-ray and CT image enhancements on the robustness and accuracyof a rigid 3D/2D image registration. ».Medical Physics, 32(4):866–873, 2005.

[17] Stefan Klein, Josien P W Pluim, Marius Staring et Max A Viergever.« Adaptive Stochastic Gradient Descent Optimisation for Image Registration ».International Journal of Computer Vision, 81(3):227–239, 2008.

[18] J Koikkalainen et J Lotjonen.« Image segmentation with the combination of the PCA- and ICA-based modesof shape variation ».2004 2nd IEEE International Symposium on Biomedical Imaging Macro to NanoIEEE Cat No 04EX821, 1(April):149–152, 2004.

[19] Yiu H Lau, Michael Braun et Brian F Hutton.« Non-rigid image registration using a median-filtered coarse-to-fine displacementfield and a symmetric correlation ratio ».Physics in Medicine & Biology, 46(46):1297–1319, janvier 2001.

[20] William C Lavely, Christopher Scarfone, Hakan Cevikalp, Rui Li, Da-niel W Byrne, Anthony J Cmelak, Benoit Dawant, Ronald R Price, Den-nis E Hallahan et J Michael Fitzpatrick.« Phantom validation of coregistration of PET and CT for image-guided radio-therapy. ».Medical Physics, 31(5):1083–1092, 2004.

[21] C H Lee et L H Chen.« A fast motion estimation algorithm based on the block sum pyramid. ».IEEE Transactions on Image Processing, 6(11):1587–1591, 1997.

[22] J M Leiva-Murillo et A Artés-Rodriguez.« A Gaussian Mixture Based Maximization of Mutual Information for SupervisedFeature Extraction ».Dans Independent Component Analysis, pages 271–278, 2004.

[23] J Liu et J Tian.« Registration of Brain MRI/PET Images Based on Adaptive Combination of

45

Page 59: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

Intensity and Gradient Field Mutual Information. ».Int. J. Biomed. Imaging, 2007, 2007.

[24] Jiangang Liu et Jie Tian.« Registration of Brain MRI/PET Images Based on Adaptive Combination ofIntensity and Gradient Field Mutual Information ».International Journal of Biomedical Imaging, 2007:93479, 2007.

[25] Zhentai Lu et Wufan Chen.« Fast and Robust 3-D Image Registration Algorithm Based on Principal Com-ponent Analysis ».Dans Bioinformatics and Biomedical Engineering, 2007. ICBBE 2007. The 1stInternational Conference, pages 872–875, juillet 2007.

[26] Burton Ma, Mehdi H Moghari, Randy E Ellis et Purang Abolmaesumi.« On fiducial target registration error in the presence of anisotropic noise. ».Medical Image Computing and Computer-Assisted Intervention, 10(Pt 2):628–635, 2007.

[27] F Maes, A Collignon, D Vandermeulen, G Marchal et P Suetens.« Multimodality image registration by maximization of mutual information. ».IEEE Transactions on Medical Imaging, 16(2):187–198, 1997.

[28] F Maesand, D Vandermeulen et P Suetens.« Comparative evaluation of multiresolution optimization strategies for multi-modality image registration by maximization of mutual information. ».Medical Image Analysis, 3(4):373–386, 1999.

[29] Grégoire Malandain.« Les mesures de similarité pour le recalage des images médicales ».Habilitation à diriger des recherches, Université Nice Sophia-Antipolis, mars2006.

[30] Sergiy Milko, Eivind Melvæ r, Eigil Samset et Timor Kadir.« Evaluation of bivariate correlation ratio similarity metric for rigid registrationof US/MR images of the liver ».International Journal of Computer Assisted Radiology Surgery, 4(2):147–155,mars 2009.

46

Page 60: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

[31] Javier Pascau, Juan Domingo Gispert, Michael Michaelides, Panayo-tis K Thanos, Nora D Volkow, Juan José Vaquero, Maria Luisa Soto-Montenegro et Manuel Desco.« Automated method for small-animal PET image registration with intrinsic va-lidation. ».Molecular Imaging and Biology, 11(2):107–113, 2009.

[32] G P Penney, J Weese, J A Little, P Desmedt, D L Hill et D J Hawkes.« A comparison of similarity measures for use in 2-D-3-D medical image regis-tration. ».IEEE Transactions on Medical Imaging, 17(4):586–595, 1998.

[33] Bernd J Pichler, Hans F Wehrl, Armin Kolb et Martin S Judenhofer.« Positron emission tomography/magnetic resonance imaging : the next genera-tion of multimodality imaging ? ».Seminars in Nuclear Medicine, 38(3):199–208, 2008.

[34] J Pluim.« Mutual information matching in multiresolution contexts ».Image and Vision Computing, 19(1-2):45–52, 2001.

[35] Binjie Qin et Tiange Zhuang.« Multi-resolution registration of MR and PET images based on correlation ratiosimilarity ».Journal of biomedical engineering, 20(2):233–236, 2003.

[36] A Rangarajan, H Chui et J S Duncan.« Rigid point feature registration using mutual information. ».Medical Image Analysis, 3(4):425–440, 1999.

[37] N Ritter, R Owens, J Cooper, R H Eikelboom et P P Van Saarloos.« Registration of stereo and temporal images of the retina. ».IEEE Transactions on Medical Imaging, 18(5):404–418, 1999.

[38] Alexis Roche, Grégoire Malandain et Nicholas Ayache.« Unifying maximum likelihood approaches in medical image registration ».International Journal of Imaging Systems and Technology, 11(1):71–80, 2000.

47

Page 61: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

[39] Alexis Roche, Grégoire Malandain, Xavier Pennec et Nicholas Ayache.« Multimodal Image Registration by Maximization of the Correlation Ratio ».Research Report RR-3378, INRIA, août 1998.

[40] Ivan Sipiran et Benjamin Bustos.« Harris 3D : a robust extension of the Harris operator for interest point detectionon 3D meshes ».The Visual Computer, 2011.

[41] R W K So et A C S Chung.« Multi-modal non-rigid image registration based on similarity and dissimilaritywith the prior joint intensity distributions ».Dans Proceedings of the 2010 IEEE international conference on Biomedical ima-ging : from nano to Macro, ISBI’10, pages 368–371. IEEE Press, 2010.

[42] A Strehl et J Ghosh.« Cluster ensembles—a knowledge reuse framework for combining multiple par-titions ».The Journal of Machine Learning Research, 3:583–617, 2003.

[43] C Studholme, Derek L G Hill et David J Hawkes.« An overlap invariant entropy measure of 3D medical image alignment ».Pattern Recognition, 32(1):71–86, 1999.

[44] P Thévenaz, U E Ruttimann et M Unser.« A pyramid approach to subpixel registration based on intensity. ».IEEE Transactions on Image Processing, 7(1):27–41, 1998.

[45] P Thévenaz et M Unser.« A pyramid approach to sub-pixel image fusion based on mutual information ».Proceedings of 3rd IEEE International Conference on Image Processing, I:265–268, 1996.

[46] J A Van Dalen, H J Huisman, A Welmers et J O Barentsz.« Semi-automatic Image Registration of MRI to CT Data of the Prostate UsingGold Markers as Fiducials ».Dans Biomedical Image Registration, pages 311–320. 2003.

48

Page 62: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

[47] J J Vaquero, M Desco, J Pascau, A Santos, J Seidel et M V Green.« PET, CT, and MR image registration of the rat brain and skull ».IEEE Transactions on Nuclear Science, 48(4):1440–1445, 2001.

[48] J West, J M Fitzpatrick, M Y Wang, B M Dawant, C R Maurer, R MKessler, R J Maciunas, C Barillot, D Lemoine, A Collignon, F Maes,P Suetens, D Vandermeulen, P A van den Elsen, S Napel, T S Sumana-weera, B Harkness, P F Hemler, D L Hill, D J Hawkes, C Studholme,J B Maintz, M A Viergever, G Malandain et R P Woods.« Comparison and evaluation of retrospective intermodality brain image regis-tration techniques ».Journal Of Computer Assisted Tomography, 21(4):554–566, août 1997.

[49] Ian H Witten et Eibe Frank.Data Mining : Practical Machine Learning Tools and Techniques.Morgan Kaufmann Series in Data Management Systems. Morgan Kaufmann,2005.

[50] R P Woods, J C Mazziotta et S R Cherry.« MRI - PET registration with automated algorithm ».Journal of Computer Assisted Tomography, 17(4):536–546, 1993.

[51] Rui Xu, Yen-Wei Chen, Song-Yuan Tang, Shigehiro Morikawa et YoshimasaKurumi.« Parzen-Window Based Normalized Mutual Information for Medical Image Re-gistration ».IEICE - Trans. Inf. Syst., E91-D(1):132–144, 2008.

[52] YY Yao et S Regina.« 6 Information-Theoretic Measures for Knowledge Discovery and Data Mining ».Entropy measures maximum entropy principle and emerging applications, page115, 2003.

[53] Takashi Yokoi, Tsutomu Soma, Hiroyuki Shinohara et Hiroshi Matsuda.« Accuracy and reproducibility of co-registration techniques based on mutualinformation and normalized mutual information for MRI and SPECT brainimages. ».Annals of Nuclear Medicine, 18(8):659–667, 2004.

49

Page 63: Chapitre 1 Le recalage multimodal TEP-IRM

Bibliographie

[54] Pat B Zanzonico et Sadek A Nehmeh.« Introduction to clinical and laboratory (small-animal) image registration andfusion. ».International Conference of IEEE Engineering in Medicine and Biology Society,1(January):1580–1583, 2006.

[55] B Zitova.« Image registration methods : a survey ».Image and Vision Computing, 21(11):977–1000, 2003.

50

Page 64: Chapitre 1 Le recalage multimodal TEP-IRM

Annexe A

Détails d’implémentation

Le logiciel en QT et C++ développé par l’auteur de ce mémoire a pour but ultimede pouvoir effectuer un recalage de deux volumes, peu importe le type, de la façon laplus automatique possible. On pourrait le séparer en trois parties : L’interface QT,qui doit être la plus simple et fonctionnelle possible, les encodeurs-décodeurs de mé-dias médicaux et finalement les algorithmes relatifs au recalage.

Voici la liste exhaustive des principales classes contenues dans le programme. Ellessont classées d’abord par ordre alphabétique, puis par association hiérarchique :

– App_VolumeSliced– BadConversion– ByteSwapper< T >

– ConsoleView– DHMapComparator– FileNameUtility– GaussianParameters– Interpolation< T >

– LoaderFactory– ModifyBytesUtility– ModifyDataUtility– ModifyFileNameUtility

51

Page 65: Chapitre 1 Le recalage multimodal TEP-IRM

– MyQGLWidget– MyQGraphicsView– Param– Registration– Registration3DDialog– RegistrationDebugView– RegistrationParamView– ST : :ScopeTrace– Segmentation– SimMeasure– Stats

– GaussianMixture– Histo

– Stats2D– GaussianMixture2D– Histo2D

– TransformationParamView– Volume3D– Volume3DControl– Volume3DLoader

– DicomLoader– FDFLoader– GisLoader– ImageLoader– MincLoader– NiftiLoader– NrrdLoader

– Volume3DMergedControl– Volume3DProcessingDialog– Volume3DProcessingView– Volume3DProcessView– Volume3DView

52

Page 66: Chapitre 1 Le recalage multimodal TEP-IRM

A.1. Interface

– VolumeViewer

A.1 InterfaceVoici une liste des fichiers reliés majoritairement à l’interface (tirée de la docu-

mentation en anglais) :

– ConsoleView.cpp Output console for Registration– ConsoleView.h : Output console for Registration (ConsoleView declaration)– main.cpp : Application’s entry point.– MyQGLWidget.cpp : Reimplementation of QQGLWidget in order to make a

3D reconstruction of registred Volume3D implementation– MyQGLWidget.h : Inheritance of QQGLWidget in order to make a 3D re-

construction of registred Volume3D– MyQGraphicsView.cpp : QGraphicsView ( MyQGraphicsView implementa-

tion)– MyQGraphicsView.h : QGraphicsView ( MyQGraphicsView declaration)– Registration3DDialog.cpp : Registration3DDialog implementation– Registration3DDialog.h : Volume3D openGL view dialog– RegistrationDebugView.cpp : Output console for Registration : Registra-

tionDebugView implementation)– RegistrationDebugView.h : Output console for Registration : Registration-

DebugView declaration)– RegistrationParamView.cpp : Registration parameters ( RegistrationPa-

ramView widget implementation)– RegistrationParamView.h : Registration parameters ( RegistrationParam-

View widget declaration)– Volume3DMergedControl.cpp : Volume3DMergedControl of the volumes in

the merge volume view (declaration)– Volume3DMergedControl.h : Volume3DMergedControl of the volumes in

the merge volume view (implementation)– Volume3DProcessingDialog.cpp : Volume3DProcessingDialog implementa-

53

Page 67: Chapitre 1 Le recalage multimodal TEP-IRM

A.1. Interface

tion– Volume3DProcessingDialog.h : Volume processing window (Volume3DProcessingDialog

declaration)– Volume3DProcessingView.cpp : Volume3DProcessingView implementation– Volume3DProcessingView.h : Volume processing view declaration– Volume3DProcessView.cpp : Similar to volumeview, but with CImg– Volume3DProcessView.h : Similar to volumeview, but with CImg– Volume3DControl.cpp : Volume3DControl of the volumes in the volume-

views (implementation)– Volume3DControl.h : Volume3DControl of the volumes in the volumeviews

(declaration)– Volume3DView.cpp : Volume view (axial, coronal or sagittal) ( Volume3DView

implementation)– Volume3DView.h : Volume view (axial, coronal or sagittal) ( Volume3DView

declaration)– VolumeViewer.cpp : Main windows ( VolumeViewer implementation)– VolumeViewer.h : Main windows ( VolumeViewer declaration)– TransformationParamView.cpp : Transformation parameters (Transforma-

tionParamView widget implementation)– TransformationParamView.h : Transformation parameter (Transformation-

ParamView widget declaration)

La Figure A.1 représente l’interface principale du logiciel. Elle est composée detrois fenêtres de vue : Volume A, Volume B et Volume Registration. Chaque fenêtrede vue permet d’afficher et de naviguer dans les tranches axiales, coronales et sagit-tales des volumes. La fenêtre Volume Registration s’active dès que deux volumes sontchargés dans le logiciel et ancrés ensemble. À droite, des fenêtres de contrôles sontdisponibles pour activer ou surveiller le recalage en cours. Les détails de chacun descontrôles de chaque fenêtre sont détaillés et représentés dans chacune des prochainesfigures.

54

Page 68: Chapitre 1 Le recalage multimodal TEP-IRM

A.1. Interface

Figure A.1 – Interface générale du logiciel.

Voici une description des contrôles numérotés dans la Figure A.2 :

1. L’ouverture permet de charger un volume dans le logiciel. La liste des formatsdisponibles est détaillée dans la section suivante.

2. La correction d’image permet d’apporter des corrections de contraste, rotation,symétrie, luminosité aux volumes si nécessaire.

3. La sauvegarde de volume permet d’enregistrer le volume chargé en un autreformat que l’original. C’est une fonction de conversion d’image.

55

Page 69: Chapitre 1 Le recalage multimodal TEP-IRM

A.1. Interface

4. L’ancrage est un outil primordial. S’il est activé dans Volume A, celui-ci vaancrer le volume B à son référentiel. Autrement dit, le volume B va subir unetransformation afin d’avoir les mêmes dimensions que le volume A. Suite àl’ancrage, la fenêtre Volume Registration s’active et affichera les deux volumessuperposés.

5. Les curseurs des vues axiales, coronales et sagittales permettent de naviguerdans le volume selon les trois axes. On peut également cliquer dans les imagespour se localiser dans les autres vues.

6. Les vues changent de taille si on effectue un changement à la taille de la fenêtre.On peut voir le ratio de la taille affichée comparativement à la taille réelle de lacoupe. On peut varier le changement d’échelle de la fenêtre de vue en plaçantle curseur de la souris sur l’image et en activant la roulette.

Figure A.2 – Contrôles des volumes.

56

Page 70: Chapitre 1 Le recalage multimodal TEP-IRM

A.1. Interface

Figure A.3 – Contrôles associés au résultat du recalage.

Voici une description des contrôles numérotés dans la Figure A.3. Tout au longde l’algorithme de recalage, chacune des transformations testées est affichée dans lesfenêtres de vue, afin de suivre le déroulement du calcul de la transformation optimale.

1. Les lunettes représentent une fonctionnalité en développement : une recons-truction 3D des volumes recalés, où l’on peut naviguer à l’intérieur selon unquelconque axe. Elle n’est pas nécessaire au fonctionnement du recalage.

2. La sauvegarde permet d’enregistrer un volume en couleur représentant les deuxvolumes recalés. Les formats disponibles sont les mêmes qu’à l’ouverture des vo-lumes, hormis quelques formats qui ne permettent pas la sauvegarde de volumeen RGB.

3. L’activation du recalage automatique permet de lancer l’algorithme de recalage.Les paramètres d’entrée sont situés dans la fenêtre de contrôle, à droite desfenêtres de vue.

4. Le choix de gradient de couleur pour le volume flottant, ici le volume B. Pardéfaut, il est laissé dans les tons de vert.

57

Page 71: Chapitre 1 Le recalage multimodal TEP-IRM

A.1. Interface

Figure A.4 – Interface d’entrée-sortie de l’information relative au recalage.

Voici une description des contrôles numérotés dans la Figure A.4. Les trois fenêtresillustrées se déplacent librement dans l’interface générale. Par défaut, elles sont activeset localisées à droite des fenêtres de vue :

1. La fenêtre de sortie permet d’obtenir de l’information sur le déroulement de

58

Page 72: Chapitre 1 Le recalage multimodal TEP-IRM

A.1. Interface

l’algorithme de recalage. Elle sert aussi à afficher les dimensions et résolutionsdes volumes, ou toute autre information pertinente.

2. La fenêtre des paramètres du recalage. La quantification illustre le nombre declasses que contiendront nos histogrammes. Par défaut, on le laisse à 32, telqu’il est expliqué dans l’article de ce mémoire.

3. Le nombre de niveaux permet d’activer la multi-résolution. Par défaut, elle està trois niveaux. Si on indique un seul niveau, on utilisera un algorithme ditclassique, sans multi-résolution.

4. Si désiré, on peut activer la multi-résolution classique, séquentielle. Si on laissecette case décochée, la multi-résolution parallèle, le sujet de ce mémoire, seraemployée.

5. Le nombre de degrés de liberté indique le type de transformation désiré. Ona le choix entre rigide (translation, rotation) ou affine (translation, rotation,changement d’échelle).

6. Le type de mesure de similarité employée. Par défaut, on utilise le NMI, tel quedécrit dans l’article. On peut aussi utiliser deux autres types de NMI, l’infor-mation mutuelle classique, le rapport de corrélation et le rapport de corrélationsymétrique.

7. L’interpolation permet de déterminer si le volume transformé à l’étape finalesubira une interpolation trilinéaire ou du plus proche voisin.

8. Le modèle probabiliste est toujours l’histogramme. Auparavant, on pouvait éga-lement choisir un modèle d’estimation de fonction de densité gaussien, maisl’option fut désactivée en raison de résultats insatisfaisants.

9. La fenêtre des paramètres de transformation permet d’afficher les paramètresde transformation de chacune des itérations de l’algorithme de recalage. Aussi,on peut ajuster manuellement chacun des paramètres de transformation avantet après le recalage.

10. L’initialisation par l’analyse en composantes principales (ACP) permet l’auto-matisation complète de l’algorithme. Si le résultat de l’ACP n’est pas satisfai-sant, on peut alors ajuster manuellement la transformation initiale.

59

Page 73: Chapitre 1 Le recalage multimodal TEP-IRM

A.2. Encodeurs et décodeurs des formats médicaux

11. L’initialisation par centre de masse est une version de l’ACP simplifiée. Onn’initialise que la translation.

12. La sélection de seuils permet d’ajuster le nombre de points à utiliser pour lecalcul de l’ACP. On le laisse à 10 par défaut.

13. Le résultat de la mesure de similarité est affiché pour chacune des itérationstestées. On peut également calculer la mesure advenant un ajustement manuelde la transformation finale.

A.2 Encodeurs et décodeurs des formats médicauxLes encodeurs et décodeurs (codecs) de formats médicaux furent réalisés lors d’un

stage semestriel de Patrick Marcoux-Bellavance, engagé et dirigé par Maxime Des-coteaux, sous la supervision de Michaël Bernier. Olivier Vaillancourt fut un acteurimportant sur le plan du soutien technique. Les codecs sont utilisés sous forme deplugins, ce qui implique que l’on peut ajouter aisément des codecs manquants. Pourle moment, les formats supportés sont :

– Nifti– Analyse 7.5– Gis– FDF– Dicom– Dicom3D– Nrrd– Minc– JPG, BMP, PNG

Voici une liste des fichiers reliés majoritairement au système de formats médicaux(tirée de la documentation en anglais) :

– DicomLoader.cpp : Loader Dicom ( DicomLoader implementation)– DicomLoader.h : Loader Dicom ( DicomLoader declaration)

60

Page 74: Chapitre 1 Le recalage multimodal TEP-IRM

A.2. Encodeurs et décodeurs des formats médicaux

– FDFLoader.cpp : Loader FDF ( DicomLoader implementation)– FDFLoader.h : Loader FDF ( FDFLoader declaration)– GisLoader.cpp : Loader Gis ( GisLoader implementation)– GisLoader.h : Loader Gis ( GisLoader declaration)– ImageLoader.cpp : Loader Image (ImageLoader implementation)– ImageLoader.h : Loader Image 2D (ImageLoader declaration)– LoaderFactory.cpp : Factory Loader ( LoaderFactory implementation)– LoaderFactory.h : Factory Loader ( LoaderFactory declaration)– MincLoader.cpp : Loader Minc (MincLoader implementation)– MincLoader.h : Loader Minc (MincLoader declaration)– NiftiLoader.cpp : Loader Nifti and Analyze 7.5 ( NiftiLoader implementation)– NiftiLoader.h : Loader Nifti and Analyze 7.5 ( NiftiLoader declaration)– NrrdLoader.cpp : Loader Nrrd ( NrrdLoader implementation)– NrrdLoader.h : Loader Nrrd ( NrrdLoader declaration)– Volume3DLoader.h : Volume Loader (Volume3DLoader declaration)

Figure A.5 illustre le diagramme du système de codec. Lors de l’ouverture d’unfichier, le système parcourt le dossier et détermine le codec à utiliser en testant sé-quentiellement tout ses codecs, jusqu’à ce qu’un de ceux-ci fonctionne.

Figure A.5 – Diagramme UML simplifié de la LoaderFactory

61

Page 75: Chapitre 1 Le recalage multimodal TEP-IRM

A.3. Algorithme de recalage

A.3 Algorithme de recalageVoici une liste des fichiers reliés explicitement au recalage. Ces classes sont forte-

ment liées à l’interface, qui a pour but d’effectuer plusieurs opérations primordiales aurecalage. La liste ci-dessous représente la majeure partie des algorithmes développéspar l’auteur au cours de la maîtrise (tiré de la documentation en anglais) :

– GaussianModel.cpp : GaussianMixture class (probabilist model) implemen-tation

– GaussianModel.h : Gaussian mixture originally used in background learning.– GaussianModel2D.cpp : GaussianMixture2D class for joint probability mo-

del.– GaussianModel2D.h : GaussianMixture2D class for joint probability model

(declaration).– GaussianParameters.h : Gaussian parameters– Histo.cpp : Histo 1D implementation– Histo.h : Histo 1D declaration– Histo2D.cpp : Histo 2D (joint probability) implementation– Histo2D.h : Histo 2D (joint probability) declaration– Registration.cpp : Registration algorithms implementation– Registration.h : Registration algorithms declaration– SimMeasure.cpp : SimMeasure implementation– SimMeasure.h : SimMeasure declaration– Statistics.cpp : Volume Statistics computation implementation– Statistics.h : Volume Statistics computation declaration– Statistics2D.cpp : Volume Statistics2D implementation– Statistics2D.h : Volume Statistics2D computation declaration– TransfoParam.h : Definition of TransfoType, Param, DHMapComparator– Volume3D.cpp : The information about the loaded volume (Volume3D im-

plementation)– Volume3D.h : The information about the loaded volume (Volume3D declara-

tion)

62

Page 76: Chapitre 1 Le recalage multimodal TEP-IRM

A.4. Autre

A.4 AutreVoici une liste des fichiers non reliés explicitement à l’une des catégories précé-

dentes. Ils sont, pour la plupart, de type utilitaire, reliés à plusieurs projets. Ils furentmajoritairement développés au cours de ce projet (tiré de la documentation en an-glais) :

– ByteSwapper.cpp : Perform machine dependent byte swapping– ByteSwapper.h : Perform machine dependent byte swapping ( ByteSwapper

declaration)– Convert.h : String conversion functions– FileNameUtility.cpp : FileName Utility ( FileNameUtility implementation)– FileNameUtility.h : FileName Utility ( FileNameUtility declaration)– FileUtils.cpp : Generic utilities– FileUtils.h : Generic utilities declaration.– Interpolation.h : Interpolation utility class– ModifyBytesUtility.cpp : Modify Bytes Utility ( ModifyBytesUtility imple-

mentation)– ModifyBytesUtility.h : Modify Bytes Utility ( ModifyBytesUtility declara-

tion)– ModifyDataUtility.cpp : Modify Data Utility ( ModifyDataUtility imple-

mentation)– ModifyDataUtility.h : Modify Data Utility ( ModifyDataUtility declaration)– ModifyFileNameUtility.cpp : Modify FileName Utility ( ModifyFileNameU-

tility implementation)– ModifyFileNameUtility.h : Modify FileName Utility ( ModifyFileNameUti-

lity declaration)– Segmentation.h : Segmentation (classification) utility class– TraceQTConsole.cpp : Registration steps tracing utility (from ST ScopeTrace)

(implementation)

63

Page 77: Chapitre 1 Le recalage multimodal TEP-IRM

A.5. Documentation et code

– TraceQTConsole.h : Registration steps tracing utility (from ST ScopeTrace)(declaration)

A.5 Documentation et codeLa documentation complète, incluant le code source, compte environ 300 pages.

Sa version abrégée, sans le code, en compte 120. C’est pourquoi elle n’est pas inclusedans ce mémoire. Cependant, elle peut être disponible ici :

http ://moourl.com/z77va

Aucune version du logiciel n’est distribuée pour le moment, bien qu’il y en auraune sous peu. On peut contacter l’auteur à l’adresse [email protected] de plus amples informations.

64

Page 78: Chapitre 1 Le recalage multimodal TEP-IRM

Annexe B

Contenu supplémentaire en ligne

Dans l’article présenté au Chapitre ??, deux animations ont été incluses dans lasoumission au journal. Ces fichiers avaient pour but d’illustrer le recalage implémentédans cet article. Comme ceux-ci ne sont pas disponibles dans le Chapitre 2, cettesection a pour but de permettre au lecteur en ligne de visionner ces animations àl’aide d’un lecteur pdf récent (c.-à-d. Acrobat Reader X).

La figure B.1 illustre le calcul en temps réel des transformations du volume 3Dde la TEP afin de l’aligner sur l’IRM dans un cas de tumeur fémorale du rat. L’algo-rithme utilisé est la descente du simplexe, où l’espace de recherche diminue selon laprogression de l’algorithme vers la transformation optimale.

La figure B.2 illustre quant à elle un recalage que l’on considère réussi. L’animationnous permet d’évaluer la qualité du recalage. Aux coupes 2 à 5, on voit la tumeurfémorale, alors qu’aux coupes 16 à 19 on aperçoit un fémur sain.

65

Page 79: Chapitre 1 Le recalage multimodal TEP-IRM

Play Pause Stop

Figure B.1 – Recalage de volume T1-IRM et 18F -FDG-TEP illustrant une tumeur

fémorale dans le plan sagittal.

66

Page 80: Chapitre 1 Le recalage multimodal TEP-IRM

Slow Normal Fast Play/Pause Stop

Figure B.2 – Animation dans le plan axial illustrant un recalage TEP-IRM réussi.

67