DEA DISIC Geoffrey Arthaud 1 Image Registration methods : a survey Barbara Zitova, Jan Flusser

DEA DISIC Geoffrey Arthaud 1

Image Registration methods : a survey

Barbara Zitova, Jan Flusser


Plan de l’exposé

Introduction Méthodologie associée au recalage d’image

1. Détection de caractéristiques

2. Mise en correspondance

3. Création d’un modèle de transformation

4. Transformation de l’image

5. Mesure de la précision du recalage Conclusion


Introduction

Recalage d’image :Superposition de 2 images ou plusAligner une image « de référence » et une

image à transformerApplications nombreuses : Télédétection,

médecine, cartographie, etc..L’article est un état de l’art complet sur le

recalage d’images


Méthodologie : Types d’images

Point de vue différent – multiview Instants différents – multitemporal Capteurs différents – multimodal Recalage Image réelle →← Modèle


Méthodologie : Les étapes

1. Détection de caractéristiques

2. Mise en correspondance

3. Création d’un modèle de transformation

4. Transformation de l’image


Méthodologie : Illustration

Caractéristiques

Correspondance

Modèle

Transformation


Détection de caractéristiques

Etape 1 :

Deux méthodes complémentaires


Méthodes zonales ► area-based methods

Pas de points de contrôle ► Etape sautée A utiliser pour les images peu détaillées

(images médicales)


Méthodes avec caractéristiques ► feature-based methods

Caractéristiques sous forme de :RégionsLignesPoints

Caractéristiques stockées par des points de contrôle (CP)

Adaptées pour les images contenant des objets facilement détectables


Mise en correspondance

Etape 2 : Suivi des deux méthodes


Méthodes zonales

Choix d’une partie ou de la totalité de l’image à faire correspondre sur la référence

Principal inconvénient : mauvaise correspondance entre deux zones « douces » différentes

Trois façons de faire avec cette méthode : corrélation, Fourier, information mutuelle


1. Méthodes de corrélation

Souvent utilisé pour sa simplicité d’implémentation

Limitée aux translations, rotations, et mise à l’échelle légères

2 inconvénients : Maxima de la fonction pas faciles à distinguer (auto

similarité de l’image) Temps de calcul assez long Non adapté au multimodal registration


1. Méthode de corrélation

Variantes à CC :Filtrage préalable avant d’utiliser CCSSDARapport de corrélation (pour les multimodal)Hausdorff distanceCorrélation vectorielle


2. Méthodes de Fourier

Meilleure vitesse de traitement et plus adaptées au images bruitées

Méthode de corrélation de phase pour le recalage d’images translatées

Extensions pour rotation et changement d’échelle : «polar-log mapping »

Utilisées pour la télédétection (images SPOT) et l’imagerie médicale (images MR)


Comparaison CC - Fourier


3. Méthodes d’informations mutuelles

Techniques de pointe pour les images multimodales

Mesure de dépendances statistiques, maximiser MI :

Optimisations par une approche pyramidale et descente de gradient

Variante : Entropie croisée


Optimisations diverses

Sans gradient : PowellAvec gradient : Levenberg-MarquardtApproche pyramidale : multirésolution


Méthodes avec caractéristiques

Sur les 2 images, des points de contrôle ont été créés.

But : Faire correspondre les points de contrôle 2 à 2 (tous ou une partie).


1. Relations spatiales

Transformer l’ensemble des CP d’une image et évaluer la distance avec les CP de l’autre image

Clustering technique : mise en correspondance de CP reliés par des arêtes


2. Descripteurs invariants

Donner une description aux CP avant de les faire correspondre

Description invariante, unique, stable (dans l’idéal)

Analyse du voisinage de chaque CP, et en tirer le maximum d’information (de nature géométrique), beaucoup de techniques possibles


Optimisations

Méthodes pyramidalesMultirésolution de la rechercheDifférents types (somme, médian,moyenne,

cubic spline, Laplace, Gauss,…)Décomposition en ondelettes de l’image

pour l’approche pyramidale


Création d’un modèle de transformation

Etape 3 : modèles globaux et locaux


Exemples de fonctions de mapping


Modèles globaux

Transformation de similitude (translation, rotation, scaling) : 2 CPs

Transformation affine : 3 CPsPerspective : 4 CPsEviter les polynômes de degré hautUtilisation de plus de CP (moindres

carrés)


Modèles locaux

Tenir compte des distorsions localesUtilisation de fonctions « radiales » :

fonction juste de la distance du point au CP, et non de sa position exacte

Fonctions multiquadratic, de Gauss, de Wendland, etc…

Thin-plate splines (TPS) : temps de calcul très grand (warping, morphing)


Recalage élastique

Pas de fonctions de mappingVoir l’image comme une feuille élastiqueMise en correspondance faite en même

tempsVariantes : recalage fluide pour des

déformations très localiséesDiffusion, level sets, optical flow


Transformation de l’image

Etape 4 : Différentes interpolations possibles


2 méthodes

Méthode avant Transformer directement les pixels de l’image à

recaler Apparition de trous et de superpositions, à éviter

Méthode arrière Partir du système de coordonnée de l’image

référence et appliquer les transformations inverses pour la coordonnée de l’image à recaler

Pas de trous, mais implémenter des algo d’interpolation


Interpolations

Plus proche voisin Bilinéaire Bicubique

Meilleure compromis : bilinéaire le plus souvent


Mesure de la précision du recalage

Etape 5 : Différents types d’erreurs


Liste des erreurs de recalage

Erreur de localisation : CP mal placéErreur de reconnaissance : mauvaise

correspondance de CP , erreur graveErreur d’alignement : Utilisation d’une

mauvaise fonction de mapping

Utilisation de points tests (TP)Vérification manuelle par l’expert


Conclusion

Recalage d’images de plus en plus déformées ou venant de sources très différentes

Problèmes encore ouverts : correspondance des CP, choix de la fonction de mapping

Méthode MI est une référence, mais reste une méthode zonale soumise à limitations

Elaboration de méthodes hybrides Perspectives futures : Système expert

choisissant la meilleure solution de recalage


Remarques

Article très complet et très dense

Disproportion entre longueur de l’article et bibliographie : techniques citées mais peu développées

Documents

DEA DISIC Geoffrey Arthaud 1 Image Registration methods : a survey Barbara Zitova, Jan Flusser