UNIVERSITÉ DE BOURGOGNE U.F.R. SCIENCES ET TECHNIQUES
THESE
Présentée et soutenue publiquement pour l’obtention du grade de
Docteur de l’université
Spécialité : Instrumentation et Informatique de l’Image par
Pierrick Bourgeat Le 9 juillet 2004
Segmentation d’images de semi-conducteurs appliquée à la détection de défauts
Directeur de thèse : Patrick Gorria Codirecteur : Fabrice Meriaudeau
JURY
Rapporteurs : P. Ambs Professeur – MIPS, ESSAIM Mulhouse A. Baskurt Professeur – LIRIS, INSA Lyon Examinateurs : P. Gorria Professeur – Le2i, IUT du Creusot F. Meriaudeau Maître de conférences – Le2i, IUT du Creusot K.W. Tobin PhD – Laboratoire National d’Oak Ridge, Tennessee
Résumé : Cette thèse est consacrée à la segmentation d’images de semi-conducteurs appliquée à la détec-
tion de défauts.
Le premier chapitre détaille les principales techniques d’inspection de semi-conducteurs, et plus
particulièrement l’holographie digitale directe, développée au Laboratoire National d’Oak Ridge.
Le deuxième chapitre définit la nécessité de la segmentation d’images pour effectuer un seuillage
optimal des images de différences, et identifier les défauts. Plusieurs méthodes de segmentation,
basées sur l’analyse de texture y sont détaillées. Le troisième chapitre traite des problèmes de la
segmentation d’images de semi-conducteurs, liés aux fluctuations qui affectent les paramètres.
Plusieurs solutions sont proposées, afin de réduire l’effet des variations sur la qualité de la seg-
mentation. Le dernier chapitre regroupe les résultats obtenus, et permet de conclure sur la perspi-
cacité de notre approche, en obtenant des résultats homogènes insensibles aux fluctuations. La
segmentation permet d’améliorer la détection de défauts, avec un plus grand nombre de défauts
trouvés.
Mots clés : Segmentation d’images, analyse multi-résolution, variations des paramètres,
détection de défauts sur semi-conducteurs.
Abstract : This thesis deals with semiconductor image segmentation applied to defect detection.
The first chapter details the main techniques used in wafer inspection, and more precisely, the
technique based on direct to digital holography, which was developed at the Oak Ridge National
Laboratory. The second chapter specifies the importance of image segmentation in order to ob-
tain an optimal threshold in the difference image, and identify defects. Several image segmenta-
tion techniques, based on texture analysis, are detailed. The third chapter deals with patterned
wafer image segmentation and the problems brought by parameters variations. Several solutions
are suggested to reduce the influence of the variations on the quality of the segmentation. The
last chapter presents the results. Our approach gives homogenous results and reduces the influ-
ence of the parameters variations. The use of image segmentation improves the defect detection
process.
Keywords: Image segmentation, multi-résolution analysis, parameters variations, semi-
conductor defect detection.
Remerciements
Je remercie Messieurs Fabrice Meriaudeau, Patrick Gorria, et Michel Paindavoine pour m’avoir
accueilli au sein du laboratoire Le2i.
J’exprime ma grande reconnaissance à Monsieur Kenneth W. Tobin et tous les membres du
groupe ISMV du Laboratoire National d’Oak Ridge, pour m’avoir accueilli dans leur groupe, et
avoir rendu mon séjour aux USA inoubliable.
Je souhaite également remercier Messieurs Pierre Ambs, Professeur à l’ESSAIM de Mulhouse, et
Attila Baskurt, Professeur à l’INSA de Lyon d’avoir gentiment accepté de rapporter ce mémoire.
Je remercie sincèrement Messieurs Fabrice Meriaudeau, et Patrick Gorria pour la qualité de leur
encadrement, et la confiance qu’ils m’ont accordée.
Je remercie également les doctorants, stagiaires et enseignants chercheurs pour la bonne am-
biance qu’ils font régner au laboratoire. Et je tiens à remercier ma famille, et mes amis, Supriya,
Regina, Alexandra, Micha, Nico, Olivier et Olivier, Jérôme, et les autres… pour avoir bien voulu
me supporter pendant ces trois années.
Table des matières
Introduction 1
Chapitre 1
Généralités sur la détection de défauts sur wafers électroniques 3
1.1. Introduction 3
1.2. Outils de détection de défauts 5
1.2.1. Problèmes de la détection de défauts sur les wafers 5
1.2.2. Introduction aux techniques d’inspection 6
1.2.2.1. Illumination par champ clair ou champ sombre 6
1.2.2.2. Microscopie par balayage électronique 8
1.2.2.3. Microscopie confocale 10
1.2.3. Introduction sur l’holographie digitale 11
1.3. Holographie digitale 15
1.3.1 Présentation de la microscopie interférométrique. 15
1.3.2. Présentation de la technologie d’holographie digitale directe 18
1.3.2.1. Introduction 18
1.3.2.2. Principe et schéma de montage 19
1.4. Stratégie de détection de défaut 26
1.4.1. Comparaison au modèle CAO (Die-to-CAD) 27
1.4.2. Comparaison à une image de base de données (Golden die ou die-to-database) 27
1.4.3. Comparaison à une image voisine (Die-to-die) 27
1.4.4. Application à la technologie d’holographie digitale directe 28
1.5. Conclusion 30
1.6. Bibliographie 32
Table des matières
Chapitre 2
Problématique de la segmentation d’image appliquée à la détection de défauts 35
2.1. Introduction 35
2.2. Techniques de seuillage 35
2.2.1. Seuillage global 36
2.2.2. Seuillage local basé sur l’évolution des statistiques du niveau de bruit 38
2.2.3. Seuillage local adaptatif dans une fenêtre glissante 38
2.2.4. Seuillage adaptatif à l’intérieur de régions segmentées 40
2.3. Segmentation d’images 43
2.3.1. Introduction 43
2.3.2. Analyse de texture 45
2.3.2.1. Méthodes statistiques 45
2.3.2.2. Méthodes géométriques 47
2.3.2.3. Méthodes basées sur un modèle 48
2.3.2.4. Méthodes basées sur les outils du traitement du signal 49
2.3.3. Analyse spatio-fréquentielle 50
2.3.3.1. La transformée de Fourier 50
2.3.3.2. Les filtres de Gabor 51
2.3.3.3. Transformée en ondelettes 57
2.3.3.3.1. Définition d’une ondelette 57
2.3.3.3.2. Transformée discrète 59
2.3.3.3.2.1. Analyse multi-résolution 59
2.3.3.3.2.2 Algorithme à trous 61
2.3.4. Classifieurs 63
2.3.4.1. Les K plus proches voisins 64
2.3.4.2. Parzen 65
2.3.4.3. Les SVMs 66
2.3.4.4. Les polytopes de contraintes 69
2.4. Conclusion 73
2.5. Bibliographie 74
Table des matières
Chapitre 3
Solutions proposées 81
3.1. Introduction 81
3.2. Problématique liée aux non uniformités 81
3.3. Optimisation des paramètres de texture 86
3.3.1. Combinaisons phase/amplitude 88
3.3.1.1. Image d’amplitude normalisée 88
3.3.1.2. Image de phase 90
3.3.1.3. Image complexe 90
3.3.1.4. Image complexe d’amplitude normalisée 91
3.3.2. Méthodes d’analyse de texture utilisées 91
3.3.2.1. Transformée en ondelettes 91
3.3.2.2. Filtres de Gabor 92
3.4. Optimisation du classifieur 92
3.4.1. Optimisation des polytopes de contraintes 95
3.4.2. Optimisation des SVMs 99
3.5. Schéma global de la procédure de segmentation et de détection de défauts 100
3.6. Conclusion 101
3.7. Bibliographie 103
Table des matières
Chapitre 4
Performances, implantation et application de la segmentation d’image à la
détection de défauts 105
4.1. Introduction 105
4.2. Performances de la segmentation 105
4.2.1. Base d’apprentissage et de test 105
4.2.2. Performances des polytopes de contraintes 111
4.2.2.1. Sans correction 111
4.2.2.2. Avec correction 116
4.2.2.3. Combinaison de paramètres 122
4.2.2.4. Base d’apprentissage complète 125
4.2.3. Performances des SVM 126
4.2.3.1. Base d’apprentissage réduite 126
4.2.3.2. Combinaison des résultats des classifieurs 127
4.2.3.3. Base d’apprentissage complète 128
4.3. Application de la segmentation à la détection de défauts 129
4.3.1. Choix du mode opératoire 129
4.3.2. Méthodologie 130
4.3.3. Résultats 131
4.3.4. Discussion 133
4.4. Implantation logicielle 134
4.5. Conclusion 143
4.7. Bibliographie 145
Conclusion générale 147
Communications 151
Introduction
- 1 -
Introduction
Le marché grandissant de l’inspection industrielle est constamment à la recherche de nouvelles
technologies permettant d’augmenter le rendement. Dans le monde du semi-conducteur, le mar-
ché des outils d’inspection atteint plusieurs centaines de millions d’euros, et des investissements
lourds sont déployés pour développer des outils permettant la détection de défauts sur les circuits
de nouvelle génération. C’est dans ce contexte que la société nLine (startup basée à Austin,
Texas) a été créée pour intégrer la technologie d’holographie digitale directe, développée au La-
boratoire National d’Oak Ridge (ORNL), dans un outil commercial d’inspection de semi-
conducteurs. Le transfert d’une technologie expérimentale à un produit commercial pose de
nombreux problèmes, et une collaboration durable entre ORNL et nLine s’est établie pour les
résoudre. La grande expertise du laboratoire Le2i dans le domaine de l’inspection industrielle a
permis de former un partenariat avec ORNL pour travailler sur les problèmes liés à la détection
de défauts, à partir des images acquise par le système holographique.
Ces travaux de recherche portent sur la segmentation d’images appliquée à la détection de dé-
fauts sur semi-conducteurs, et ont été effectués pendant 2 ans et demi sur le site du Laboratoire
National d’Oak Ridge (Tennessee). Cette période fut mise à profit pour se familiariser avec la
technologie d’holographie directe, et notamment les algorithmes développés pour traiter les ima-
ges complexes, et maîtriser le contrôle du prototype d’inspection en salle blanche, afin de pou-
voir recueillir des images, et comprendre les problèmes liés à la détection de défauts de semi-
conducteurs. Dans le cadre de cette collaboration, ce travail fut l’objet d’un séjour à Austin
(Texas) pour transférer les algorithmes, et le code développé à la compagnie nLine.
Les contributions de ce travail se situent dans le domaine de la segmentation d’images où les pa-
ramètres utilisés pour discriminer les textures sont sujets à de fortes variations, et la base
d’apprentissage est réduite. Les travaux menés sur le traitements des images complexes ont per-
mis d’explorer de nouvelles voies pour l’analyse de texture, et au delà du travail décrit dans ce
manuscrit, ont permis d’écrire un rapport d’invention sur des méthodes de réglage et de mesure
de mise au point pour l’imagerie complexe [Bourgeat et Bingham, 2003].
Introduction
- 2 -
Ce manuscrit se décompose en quatre parties.
Dans le premier chapitre, nous détaillons les enjeux de la détection de défauts sur semi-conduc-
teur, avec notamment les problèmes liés à l’inspection des structures à fort rapport profon-
deur/largeur des circuits de nouvelle génération. Plusieurs technologies optiques d’inspection
sont détaillées, de même que leurs avantages et inconvénients pour l’inspection de telles structu-
res, ce qui nous amène à introduire un outil basé sur l’holographie digitale directe, spécialement
conçu pour ce type d’inspection.
Le deuxième chapitre est consacré à la problématique de la segmentation d’image appliquée à la
détection de défauts. Les limitations de la stratégie utilisée pour identifier les défauts, basée sur la
comparaison de deux images provenant de deux circuits voisins afin d’obtenir une image de dif-
férence, sont expliquées, et différentes techniques de seuillage sont évaluées. Cette approche
nous conduit à explorer plusieurs méthodes de segmentation, permettant de différencier les diffé-
rentes structures d’un circuit, afin d’appliquer un seuillage spécifique dans chaque région de
l’image de différence.
Dans le troisième chapitre, nous analysons les problèmes posés par la segmentation d’images
dans un milieu industriel tel que celui du semi-conducteur, ainsi que l’influence des fluctuations,
sur les paramètres utiles pour discriminer les textures. Plusieurs techniques sont suggérées pour
tenter de d’optimiser les résultats de la segmentation, malgré ces variations, avec notamment
l’utilisation de l’information complexe des images, et des modifications apportées au niveau du
classifieur utilisé.
Le quatrième chapitre regroupe les résultats expérimentaux permettant d’évaluer l’apport des dif-
férentes techniques, décrites au chapitre 3, à un cas réel de segmentation et de détection de dé-
fauts. L’analyse des résultats nous conduit à une approche originale de combinaison des résultats
de classifieurs, permettant d’immuniser la segmentation aux différentes fluctuations. L’apport, et
les risques liés à l’utilisation de la segmentation sont établis, et nous détaillons l’implantation lo-
gicielle dans une structure préexistante.
Généralités sur la détection de défauts sur wafers électroniques
- 3 -
Chapitre 1 Généralités sur la détection de défauts sur wafers électroniques Généralités sur la détection de défauts sur wafers1 électroniques
1.1. Introduction
Avec l’émergence de caméras bon marché, et d’ordinateurs de plus en plus puissants, le contrôle
qualité par vision artificielle s’est imposé dans l’industrie comme un standard de productivité et
de qualité [Tobin et Meriaudeau, 2003]. La machine peut efficacement remplacer l’homme pour
effectuer des contrôles dans des milieux inhospitaliers (radioactivité [Lamy, Pascal et al., 2003],
très hautes températures [Legrand, Renier et al., 2001], etc…), ou dans des conditions inadaptées
à l’homme (cadences trop élevées, tolérances trop strictes [Miteran, Bouillant et al., 2003], do-
maine microscopique, etc…). C’est dans cette deuxième catégorie que se situe le contrôle indus-
triel de semi-conducteurs.
Le but principal de la détection de défauts sur semi-conducteurs est de maintenir, voire améliorer
le rendement, qui peut être défini comme le rapport entre le nombre de produits fonctionnant et le
nombre total de produits manufacturés. La fabrication d'un microprocesseur nécessite plus de
150 traitements pour passer d'un wafer nu, à un produit fini, avec à chaque étape la possibilité
d’introduire de nouveaux défauts. Une détection des défauts au fil de la fabrication est alors né-
cessaire, afin de les repérer le plus en amont possible. Avec l’amélioration des techniques de fa-
brication, la largeur de gravure avoisine désormais les 90 nm (plus petite dimension d’une ligne
sur le semi-conducteur). De la même manière, la taille des défauts à détecter devient de plus en
plus petite rendant leur détection très difficile. Ce n’est pas tant la détection du défaut qui est im-
portante, mais la capacité à en déterminer la cause, afin de pouvoir la corriger. En effet, un outil
défectueux, ou mal réglé, peut introduire des défauts suivant une distribution particulière.
1 Wafer: fine tranche circulaire de matériau semi-conducteur tel que le silicium pur, sur laquelle un circuit intégré peut être formé
Chapitre 1
- 4 -
L’analyse de cette distribution peut permettre d’établir une signature propre à l’outil, et ainsi
identifier le type de mal fonctionnement. Une base de donnée de ces signatures est construite
dans le temps, au cours de la production. L’identification de ces signatures permet de déterminer
la source et la cause des défauts, en les rapprochant à une situation déjà vue par le passé. Ainsi, le
temps nécessaire pour identifier et corriger la source des défauts est réduit, permettant
l’amélioration du rendement.
Il est donc critique de générer une liste de défauts la plus précise possible afin d’identifier les
produits défectueux, et de ne pas négliger des défauts qui pourraient permettre l’identification
d’une signature particulière au mal fonctionnement d'un outil lors d’une des étapes de la fabrica-
tion. La Figure 1.1 présente une carte des défauts sur un wafer avec en rouge les défauts
correspondant à une rayure, et en vert les défauts correspondant à une projection de particules.
Figure 1.1. Exemple de carte des défauts d’un wafer. La zone verte représentant la signature d’une projection de particules, et la zone rouge représentant la signature d’une rayure.
Ce chapitre présente la détection de défauts sur les wafers électroniques, en introduisant les pro-
blèmes liés à ce type d’inspection, ainsi que les différentes méthodes employées. Les technolo-
gies utilisées pour l’inspection de semi-conducteurs sont détaillées, en précisant leurs atouts et
leurs faiblesses.
Généralités sur la détection de défauts sur wafers électroniques
- 5 -
1.2. Outils de détection de défauts
1.2.1. Problèmes de la détection de défauts sur les wafers
Plusieurs problèmes émergent lors de la détection de défauts sur wafer. Ces problèmes sont inhé-
rents au mode de fabrication des semi-conducteurs. A l’instar de tous les systèmes de contrôle
par vision artificielle, certaines fluctuations, minimes lors de la fabrication, conduisent à des va-
riations jugées normales, mais qui peuvent être détectées comme des anomalies, et générer de
fausses détections. Yoda [Yoda, Ohuchi et al., 1988] fournit une liste non exhaustive de ces
variations :
• fluctuation des conditions chimiques entraînant des variations de l’épaisseur des
films déposés, et de la largeur des structures (over/under etching).
• légères modifications de la position d’une couche par rapport à l’autre créées par
une légère tolérance sur le système d’alignement.
• variations des conditions d’illumination et de focus dues à la structure
tridimensionnelle de la surface du wafer.
Ces variations jugées normales peuvent être détectées comme étant des défauts et ainsi diminuer
les performances du système de détection de défauts en augmentant le taux de fausses détections.
L’outil d’inspection doit alors être réglé spécialement suivant les variations tolérées, et considé-
rées comme normales [Harrigan et Stoller, 1991].
L’intégration croissante du nombre de transistor dans les microprocesseurs se fait par une réduc-
tion des tailles de gravure horizontales, avec peu ou pas de réduction dans l’épaisseur des films
déposés. Dès lors, les défauts à détecter diminuent en taille, alors que les fluctuations liées à
l’épaisseur des films, et aux variations de focus diminuent peu, rendant la détection de défauts
très difficile. Ces structures avec un fort rapport profondeur/largeur (High Aspect Ratio (HAR)),
sont généralement les trous qui servent à connecter les différentes couches déposées à la surface
du semi-conducteur (contacts, vias), ou des tranchées entre deux conducteurs (trenches). Du fait
de leur géométrie (très étroite, et profonde), il est très difficile de vérifier que ce type de structure
a été parfaitement gravé, et qu’il ne subsiste pas de résidu au fond comme l’indique la Figure 1.2.
Pourtant, ce type d’inspection est critique, car un via qui n’est pas parfaitement gravé ne permet
Chapitre 1
- 6 -
pas la connexion entre les couches du wafer, et crée ainsi un produit défectueux [Jarvis et
Retersdorf, 2003].
Figure 1.2. Défauts type sur une structure HAR : (a) une particule, (b) diamètre réduit au fond, (c) diamètre trop
petit, (d) gravure incomplète.
Plusieurs techniques existantes sont utilisées pour ce type d’inspection telle que l’inspection op-
tique par éclairage en champ clair ou en champ sombre, le microscope électronique à balayage,
ainsi que le microscope confocal. D’autres méthodes basées sur l’holographie sont développées
spécifiquement pour faire face à ce nouveau type d’inspection qui a été défini comme un des fu-
turs grands challenges par Sematech (l’association internationale des semi-conducteurs) dans la
feuille de route technologique 2003 des semi-conducteurs [Sematech, 2003]. Ces technologies
sont expliquées en détail ainsi que leur aptitude à inspecter les structures de type HAR.
1.2.2. Introduction aux techniques d’inspection
1.2.2.1. Illumination par champ clair ou champ sombre
Les systèmes optiques utilisés pour inspecter les semi-conducteurs sont choisis de manière à
mettre en évidence différents types de détails à la surface du wafer [Tobin, 1999]. Les montages
optiques de type champ clair (bright-field) dont on trouve une représentation schématique en
Figure 1.3.a sont utilisés pour améliorer le contraste entre différents matériaux. En effet, le che-
min emprunté par l’illumination correspond à celui utilisé pour enregistrer l’image. Cette image
sera donc une fonction des coefficients de réflexion et d’atténuation des différents matériaux, ce
qui permet d’améliorer le contraste entre ceux-ci.
a) Particule b) Partiellement
fermé d) Fermés c) Diamètre
Généralités sur la détection de défauts sur wafers électroniques
- 7 -
Une illumination de type champ clair est verticale, mais elle utilise une illumination incohérente
qui ne peut être que faiblement collimatée, ce qui l’empêche d’examiner le fond des structures
HAR. De plus, pour l’inspection de certains objets tels que des films très fin d’oxyde, l’examen
de la phase est indispensable, car ces objets transparents ont la même réponse en amplitude que
leur entourage, ce qui les rend invisibles à ces outils optiques de détection de défauts basés sur
l’amplitude de la réponse. Ces limitations empêchent l’inspection des structures HAR de rapport
supérieur à 1 :1.
Les montages optiques de type champ sombre (dark-field) dont on trouve une représentation
schématique en Figure 1.3.b sont utilisés pour mettre en évidence la topologie de la surface à ins-
pecter. Un montage optique en champ sombre est caractérisé par une illumination indirecte, de
manière à ce qu’aucun rayon ne soit collecté, à moins d’être dévié par un bord ou une texture.
Toute surface plane et sans structure apparaît sombre, et seules les irrégularités sont lumineuses,
et contrastées.
Cette illumination oblique pour mettre en évidence les structures en trois dimensions du wafer ne
permet pas une inspection des structures HAR de rapport supérieur à 3 :1, car l’examen du fond
de ce type de structure nécessite une illumination parfaitement verticale.
Figure 1.3. Représentation schématique d'un montage optique (a) en champ clair et (b) en champ sombre.
La Figure 1.4 montre un exemple d’images de semi-conducteur obtenues à l’aide d’un éclairage
de type champ clair (a), et champ sombre (b). Ces images montrent un circuit recouvert partiel-
(a)
CCD
Source d’illumination champ clair
wafer
(b)
CCD
wafer
Source d’illumination champ sombre
Objectif Objectif
Chapitre 1
- 8 -
lement par un défaut de type tache créé lors de la passivation. Cette tache possède une composi-
tion chimique proche du reste du circuit, et reste peu visible dans l’image de champ clair. Par
contre, sa surface lisse apparaît très sombre en champ sombre, ce qui contraste avec les irrégula-
rités du circuit qui apparaissent de manière lumineuse. Dans la pratique, les techniques de champ
clair et de champ sombre sont généralement regroupées dans le même outil d’inspection afin de
mettre à profit leur complémentarité pour la détection d’un large panel de défauts.
(a) (b)
Figure 1.4. Images (a) en champ clair et (b) en champ sombre d'un semi-conducteur.
1.2.2.2. Microscopie par balayage électronique
Le principe du microscope électronique à balayage consiste à explorer la surface d’un échantillon
avec un faisceau d’électrons très fin qui balaie point par point la surface de l'échantillon. Sous
l'impact du faisceau d'électrons accélérés, des électrons ainsi que des rayonnements électroma-
gnétiques sont émis par l'échantillon (Figure 1.5) et recueillis sélectivement par des détecteurs
synchronisés avec le balayage de l'objet. Cette technologie requiert la conductivité de la surface
de l’échantillon. Pour l’analyse d’un échantillon non conducteur, une fine couche d’or est dépo-
sée à sa surface.
En pénétrant dans l'échantillon, le fin pinceau d'électrons diffuse peu et constitue un volume
d'interaction (Figure 1.6) dont la forme dépend principalement de la tension d'accélération et du
numéro atomique de l'échantillon. Dans ce volume, les électrons et les rayonnements électroma-
gnétiques produits sont utilisés pour former des images ou pour effectuer des analyses physico-
chimiques. Pour être détectés, les particules et les rayonnements doivent pouvoir atteindre la sur-
Source: Inspection in semiconductor m
anufacturing – Willey &
Sons
Généralités sur la détection de défauts sur wafers électroniques
- 9 -
face de l'échantillon. La profondeur maximale de détection, donc la résolution spatiale, dépend
de l'énergie des rayonnements.
eA Electrons Auger es Electrons secondaires er Electrons rétrodiffusés RX Rayons X C Cathodoluminescance
Faisceau incident d’électrons
échantillon
eA es er
RX C
et Electrons transmits et
Figure 1.5. Représentation schématique de l'interaction entre un faisceau d'électrons et la surface d'un échantillon.
Electrons Auger
Electrons secondaires
Electrons rétrodiffusés
Rayons X caractéristiques
Continuum de rayons X
Fluorescence X
échantillon
Faisceau incident d’électrons
Figure 1.6. Poire de diffusion.
Seuls les électrons secondaires produits près de la surface sont détectés, ils forment des images
haute résolution (3-5 nm) dont le contraste est principalement fonction du relief et des structures
de l'échantillon. Du fait de leur plus grande énergie, les électrons rétro-diffusés peuvent provenir
d'une profondeur plus importante et la résolution de l'image est moins bonne qu'en électrons se-
condaires (6-10 nm). Suivant le type de détecteur utilisé, les électrons rétro-diffusés fournissent
une image topographique (contraste fonction du relief) ou une image de composition (contraste
fonction du numéro atomique). Les électrons d’Auger et les rayons X peuvent différencier les
Chapitre 1
- 10 -
compositions chimiques des différents matériaux, mais leur faible énergie demande des temps
d’intégration très longs. C’est pourquoi, leur utilisation est généralement réservée à l’inspection
de petites surfaces, telle que l’analyse de la composition chimique d’un défaut.
La microscopie par balayage électronique permet une inspection des structures HAR avec un
rapport profondeur/largeur jusqu’à 7:1, mais la lenteur de l’inspection, et la nécessité de travailler
sous vide confinent cette technique à la re-détection des défauts.
1.2.2.3. Microscopie confocale
L’avantage majeur de la microscopie confocale réside dans sa capacité à discriminer les plans de
netteté. En effet, le montage optique décrit Figure 1.7 permet de collecter la lumière provenant
exclusivement d’un plan de netteté défini. Le sténopé est positionné dans le plan image de la len-
tille pour empêcher les rayons réfléchis/émis par d’autres plans que le plan focal, d’être captés
par le détecteur. Le microscope laser confocale effectue un balayage point par point de
l’échantillon, et assemble ces informations pour former une image haute résolution. En déplaçant
verticalement l’échantillon, une séquence d’images peut ainsi être générée, chaque image corres-
pondant à un plan de netteté pour une hauteur donnée. A partir de cette séquence d’image, une
image 3D peut être reconstruite et donner la topologie de la surface de l’échantillon.
Figure 1.7. Principe de fonctionnement du microscope confocale.
Source: Zeiss.com
Sténopé
Photomultiplicateur
Cube séparateur de faisceau
Lentille d’objectif
Contrôle en z
Scanner
Laser
Généralités sur la détection de défauts sur wafers électroniques
- 11 -
L’angle du rayon incident ne permet pas une mesure au fond des structures HAR, du fait de leur
topologie qui empêche les rayons de ressortir, comme le montre la Figure 1.8. Cette limitation
empêche généralement l’inspection de structure HAR de rapport supérieur à 1 :1.
Figure 1.8. Inspection d'une structure HAR.
Les limitations de ces différentes techniques ont conduit au développement d’une méthode basée
sur la mesure de la phase par holographie digitale.
1.2.3. Introduction sur l’holographie digitale
L’holographie digitale trouve son origine dans les années 70, mais elle ne débuta réellement
qu’au début de la dernière décennie avec l’apparition de capteurs électro-optiques de bonne qua-
lité, associés à des calculateurs puissants et bon marché. Jusqu’aux années 90, les hologrammes
(Interférence entre une onde objet et une onde de référence permettant une reconstruction com-
plète d’un objet) étaient enregistrés sur un support photosensible argentique.
Dès 1948, Dennis Gabor [Gabor, 1948] proposait une nouvelle méthode d’acquisition d’image à
l’aide d’un montage optique de reconstruction du front d’onde ("wavefront reconstruction"), et
que l’on connaît aujourd’hui sous le terme d’holographie (des mots grecs "holos", qui veut dire
"entier", et "gramma", qui signifie "message"). Gabor démontra que si l’on présente simultané-
ment deux ondes cohérentes, une de référence, et l’autre provenant de la lumière réfléchie ou dif-
fractée par un objet, on peut alors enregistrer l’information de phase et d’amplitude de l’onde ré-
fléchie ou diffractée par l’objet sur un support n’étant sensible qu’à l’intensité de la lumière
(Figure 1.9). Cette technique ne reçue que peu d’attention, les sources lumineuses disponibles à
l’époque n'étant pas vraiment cohérentes. Il fallut attendre 1960, et l’arrivée des premiers lasers,
source de lumière dite cohérente, pour pouvoir produire les premiers hologrammes et élargir le
champ d’application. En 1971, Dennis Gabor reçu le prix Nobel de physique pour son invention.
Chapitre 1
- 12 -
Figure 1.9. Enregistrement interférométrique.
L’holographie entend répondre au problème de l’enregistrement d’un front d’onde complet, c'est-
à-dire avec l’information de l’amplitude et de la phase de l’onde, alors que tous les supports
d’enregistrement ne sont sensibles qu’à l’intensité de la lumière. L’holographie permet donc de
transférer l’information de phase en variations d’intensité afin de pouvoir l’enregistrer. Une tech-
nique standard pour accomplir cette tâche est l’interférométrie. Si l’on considère une première
onde inconnue a(x,y) que l’on veut détecter et reconstruire, et une deuxième onde A(x,y) de réfé-
rence, cohérente avec la première, d’amplitude et de phase connue, telles que :
),(),(),( yxjeyxayxa Φ−= , (1.1)
et
),(exp),(),( yxjyxAyxA Ψ−= , (1.2)
alors l’intensité I(x,y) de la somme des deux ondes est donnée par :
)],(),(cos[),(),(2),(),(),( 22 yxyxyxayxAyxayxAyxI ΦΨ −++= . (1.3)
Alors que les deux premiers termes de l’équation (1.3) ne dépendent que de l'intensité de chaque
onde, le troisième dépend de leur phase relative. Dès lors, l'information d’amplitude et de phase
de a(x,y) a été enregistrée. L’hologramme est enregistré sur un support photosensible argentique,
Source: Introduction to Fourrier Optics – M
c Graw
Hill
Généralités sur la détection de défauts sur wafers électroniques
- 13 -
qui après développement par un procédé chimique peut être utilisé pour la reconstruction. Le
front d’onde peut-être ensuite reconstruit en illuminant l’hologramme obtenu avec la même onde
de référence A(x), sous le même angle (Figure 1.10)
Figure 1.10. Reconstruction du front d'onde.
Partant de ce principe, en 1964 Leith et Upatnieks développèrent une configuration adaptée à
l’imagerie de scène 3D [Leith et Upatnieks, 1964], rendue possible en grande partie par
l’utilisation d’un laser HeNe de très grande cohérence spatiale et temporelle. Une lumière cohé-
rente est utilisée pour illuminer la scène, ainsi qu’un miroir de référence placé à côté de la scène.
La lumière est réfléchie par le miroir vers la plaque photosensible pour créer une onde de réfé-
rence, et interférer avec l’onde réfléchie par la scène à imager (Figure 1.11.a).
Pour obtenir l’image virtuelle reconstruite, l’hologramme est illuminé par la même onde de réfé-
rence, l’observateur étant placé de l’autre coté de l’hologramme (Figure 1.11.b). L’image vir-
tuelle ainsi obtenue a les mêmes propriétés 3D que la scène originale. Il est alors possible de voir
les objets "de coté" en changeant sa position et son point de vue. On peut de même changer la
mise au point de la camera pour modifier le plan de netteté. Pour illustrer cette propriété, on se
réfère à la Figure 1.12 qui montre deux photos de l’image virtuelle sous deux angles différents,
avec une mise au point différente. Dans la Figure 1.12.a, les figurines sont dans le plan de net-
teté, alors que le fond est flou. Dans la Figure 1.12.b, en changeant la mise au point, les figurines
sont floues, et l’on peut maintenant lire l’inscription présente dans le fond de la scène.
Source: Introduction to Fourrier Optics – M
c Graw
Hill
Chapitre 1
- 14 -
Figure 1.11. Acquisition Holographique d’une scène 3D. (a) Enregistrement de l’hologramme, (b) reconstruction de
l’image virtuelle.
(a) (b)
Figure 1.12. Photographies montrant l’aspect 3D de la scène reconstruite.
Avec les progrès considérables des systèmes d’imagerie électronique, il est devenu possible
d’enregistrer les hologrammes directement sur un capteur CCD et d’effectuer la reconstruction
par voie numérique. Dans ce schéma, la caméra CCD enregistre les figures d’interférence entre le
signal provenant de l’objet, et le faisceau de référence. Un processus de calcul permet d’en dé-
terminer le front complexe du signal comportant le module de l’amplitude et la phase optique.
Plusieurs méthodes existent pour atteindre ce but [Creath, 1993; Yamaguchi et Zhang, 1997].
Connaissant le front complexe du signal dans le plan de la caméra CCD, la reconstruction dans
des plans parallèles au plan de la caméra s’obtient par le calcul de propagation optique. Cette re-
construction constitue le processus de reconstruction par holographie digitale. L’holographie di-
Source: Introduction to Fourrier Optics – M
c Graw
Hill
(a)
(b)
Source: Introduction to Fourrier Optics – M
c Graw
Hill
Généralités sur la détection de défauts sur wafers électroniques
- 15 -
gitale est une discipline émergente qui s’applique à de nombreux besoins tels que les tests non
destructifs, l’encryptage, la correction d’aberrations, la vélocimétrie en trois dimensions, la re-
connaissance de formes 3D… et elle fournit aussi une information détaillée sur les variations
d’indice de réfraction d’un échantillon.
1.3. Holographie digitale
1.3.1 Présentation de la microscopie interférométrique.
L’idée principale de la microscopie interférométrique (PSM) est de déterminer le relief d’un
échantillon par l’intermédiaire de la phase d’un rayon lumineux. C’est en effet une méthode ho-
lographique où l’estimation de la phase est effectuée en introduisant des décalages de phases
connus entre le faisceau objet provenant de l’échantillon à caractériser, et le faisceau de référence
provenant du miroir de référence. Il existe plusieurs types et configurations d’interféromètres, qui
fonctionnent tous selon le même principe de base : la superposition de deux ondes lumineuses
cohérentes. Seul l’exemple le plus connu des interférences par division d’amplitude,
l’interféromètre de Michelson (Figure 1.13), est présenté.
Figure 1.13. Principe de fonctionnement d'un interféromètre de Michelson
L’échantillon est éclairé par une source monochromatique cohérente. Un support piézoélectrique
permet de déplacer horizontalement le miroir de référence dans des positions correspondant à des
Laser
Cube séparateur de faisceau
Miroir de référence monté sur un actuateur
piézoélectrique
Echantillon
Interférogramme
Chapitre 1
- 16 -
sous-multiples de la longueur d’onde, et trois images ou plus sont ainsi enregistrées. Dans certai-
nes méthodes, la phase est décalée d’une quantité discrète entre deux enregistrements consécutifs
(microscopie à sauts de phase ou « Phase Stepping Microscopy »), tandis que dans d’autres, elle
varie continuellement (microscopie à changement de phase ou « Phase Shifting Microscopy »).
La phase du front d’onde réfléchie de l’échantillon est calculée à chaque pixel de la cible. Le ré-
sultat des calculs est alors affiché sous forme d’une image de synthèse en niveaux de gris codant
l’altitude, qui représente la cartographie de relief. L’intensité Ii(x, y) dans une figure
d’interférence peut être exprimée par :
)]),(cos(1)[,(),( 00 ii yxyxIyxI αϕγ ++= (1.4)
Avec I0(x, y) le carré de l’amplitude de l’onde incidente, γ0 le facteur de visibilité des franges, αi
le déphasage introduit, et ϕ(x, y) la phase du signal que l’on cherche à déterminer. L’acquisition
d’au moins trois interférogrammes avec des déphasages contrôlés permet de déterminer les trois
inconnues I0(x, y), γ0, et ϕ(x, y). Les algorithmes de reconstruction de phase reposent sur
l’acquisition d’une série de N interférogrammes (N allant généralement de 3 à 8).
La technique à trois sauts repose sur un déphasage de π/2 entre les faisceaux objet et référence,
on peut déduire la phase ϕ(x, y) à partir des intensités I1, I2 et I3 des trois interférogrammes enre-
gistrés pour les décalages angulaires αi de π/4, 3π/4 et 5π/4 [Creath, 1988]. Les intensités mesu-
rées sont données par :
)]4
),(cos(1)[,(),( 001πϕγ ++= yxyxIyxI (1.5)
2 0 03( , ) ( , )[1 cos( ( , ) )]4
I x y I x y x y πγ ϕ= + + (1.6)
3 0 05( , ) ( , )[1 cos( ( , ) )]4
I x y I x y x y πγ ϕ= + + (1.7)
La résolution du système décrit par les équations (1.5), (1.6), et (1.7) permet de trouver
l’expression de la phase ϕ(x, y) :
⎥⎦
⎤⎢⎣
⎡−−
=),(),(),(),(),(
21
23
yxIyxIyxIyxIarctgyxϕ (1.8)
Le calcul de la phase peut être simplifié en choisissant judicieusement le déphasage initial, ainsi
que le déphasage introduit entre chaque image. La Figure 1.14 présente trois images acquises
Généralités sur la détection de défauts sur wafers électroniques
- 17 -
avec des déphasages de -2π/3, 0, et 2π/3. La Figure 1.15.a présente l’image phase reconstruite,
avant correction des sauts de phase : la phase ne peut être résolue que dans l’intervalle [0,2π[ de
par la périodicité de la fonction arctg. Dès lors, le phénomène de repliement de la phase crée des
sauts de phase lorsque sa valeur dépasse l’intervalle [0,2π[. La Figure 1.15.b est obtenue après
traitement de l’image Figure 1.15.a par un algorithme de déroulement de phase.
(a) (b) (c)
Figure 1.14. Trois images d’interférence avec : (a) α=-2π/3, (b) α= 0, et (c) α=2π/3.
(a) (b)
Figure 1.15. Image phase reconstruite (a) avec les sauts de phase, et (b) après le déroulement de la phase.
Toutes les méthodes basées sur la microscopie par saut de phase, ou par changement de phase
nécessitent l’acquisition de plusieurs images (au minimum trois) pour estimer la topologie d’un
échantillon. Ceci pose un problème majeur lorsque l’on considère une application de contrôle
qualité en milieu industriel, telle que l’inspection de semi-conducteur, où les cadences sont très
élevées. L’utilisation de la PSM pour l’inspection implique une réduction de la cadence par un
Chapitre 1
- 18 -
facteur trois, par rapport à une inspection optique classique. C’est en partant de ce constat que fut
développée la technologie d’holographie digitale directe.
1.3.2. Présentation de la technologie d’holographie digitale directe
1.3.2.1. Introduction
La technologie d’holographie digitale directe ou « Direct-to-Digital Holography » (DDH) fut
développée au Laboratoire National d’Oak Ridge (ORNL) par Thomas et al [Thomas, Baylor et
al., 2000]. C’est une technique d’interférométrie hétérodyne spatiale (SHI) qui permet
d’enregistrer le front complexe d’une onde optique, et de reconstruire numériquement la phase et
l’amplitude du signal à l’aide d’une seule image en faisant appel à la transformée de Fourier. Elle
est actuellement implantée dans un outil de détection de défauts sur les wafers électroniques par
la compagnie « nLine Corporation » [Thomas, Bahm et al., 2002; Schulze, Hunt et al., 2003;
Thomas, Hunt et al., 2003] et [Dai, Hunt et al., 2003]. Cette technologie permet d’obtenir une
résolution spatiale proche de λ/4 dans le plan (x,y), et une résolution théorique de λ/1000 sur
l’axe vertical z, avec λ la longueur d’onde du laser employé pour l’illumination. Cet outil est dé-
veloppé principalement pour l’inspection des structures ayant un fort rapport profondeur/largeur
(HAR).
Une mesure basée sur la phase a une précision théorique d’un millième de la longueur d’onde
utilisée, soit pour l’ultra violet lointain, une précision théorique de 2 à 3 Angstrom dans la direc-
tion de propagation du faisceau laser. Ces caractéristiques permettent de voir les résidus invisi-
bles aux autres techniques optiques. L’autre avantage majeur de cette technique est de pouvoir
travailler à la fréquence d’acquisition de la camera, car une seule image contient l’information de
phase et d’amplitude grâce à l’introduction d’un petit angle entre le faisceau objet et celui de ré-
férence, là où la PSM nécessite plusieurs images pour obtenir cette information. Il faut néan-
moins disposer d’une très grande puissance de calcul, car l’obtention de l’information de phase et
d’amplitude nécessite plusieurs transformées de Fourier pour chaque image. Ces caractéristiques
permettent à la technologie DDH de réaliser des inspections rapides sur des structures HAR avec
un rapport de 12 :1. Le Tableau 1.1 présente un récapitulatif des différentes technologies que
nous avons détaillées, ainsi que leurs performances en terme de temps, avec le nombre de wafers
analysés par heure, pour une taille de gravure donnée. Les performances pour l’inspection de
structures HAR sont aussi données, ce qui met bien en évidence la supériorité de l’holographie
Généralités sur la détection de défauts sur wafers électroniques
- 19 -
digitale directe, pour ce type d’inspection. Nous allons voir plus en détail cette technologie, le
mode d’acquisition d’image, ainsi que les traitements nécessaires pour extraire l’information.
Technologie Cadence en wafer par heure
(wph) en fonction de la taille de gravure
Rapport de forme
(hauteur : largeur)
Champ clair 2 wph @ 110 nm,
10 wph @ 200 nm 1 : 1
Champ sombre
10 wph @ 200 nm 3 : 1
Microscopie confocale
1 wph @ 150 nm 1 : 1
Microscopie électronique
à balayage
Fraction wph 7 : 1
Holographie digitale
directe
1 wph @ <70 nm 12 : 1
Tableau 1.1. Tableau récapitulatif des différents types d’inspection, ainsi que leurs performances respectives.
1.3.2.2. Principe et schéma de montage
L’équipe d’ORNL a développé un prototype travaillant dans le visible appelé Visible Alpha Tool
(VAT) [Bingham, Tobin et al., 2003] avec une illumination à 532 nm, et nLine a développé en
parallèle un prototype travaillant dans l’ultra violet lointain appelé Deep UV Alpha Tool (DAT)
avec une illumination à 266 nm. Le VAT et le DAT sont basés sur le même principe dont le
schéma de base est présenté Figure 1.16. L’interféromètre est basé sur un arrangement
d’interféromètre Mach-Zehnder. Un cube séparateur de faisceau sépare le faisceau incident en un
faisceau objet, et un faisceau de référence. Le faisceau objet est réfléchi par le wafer avant
d’illuminer la camera. Le faisceau de référence suit une trajectoire équivalente, avec un miroir
remplaçant le wafer. Le cube séparateur de faisceau final permet de réunir les deux faisceaux sur
le capteur CCD. Les deux faisceaux sont mélangés avec un angle défini par l’angle de rotation du
cube séparateur. Cet angle permet de créer une succession d’interférences constructives et des-
tructives, ce qui crée des franges d’interférences modulées par la différence de phase entre le
faisceau de référence et le faisceau objet. On part de l’hypothèse, suivant laquelle la phase du
Chapitre 1
- 20 -
faisceau de référence est plane, car elle provient d’un miroir plan, ce qui nous permet d’en dé-
duire la phase du signal objet par simple démodulation des franges d’interférences. Cette techni-
que permet d’enregistrer le front complexe du faisceau objet, en créant des franges
d’interférence, modulées par la phase du faisceau objet (Figure 1.16), sur le capteur CCD. Un
hologramme et ses franges d’interférences sont présentés en Figure 1.17. Le VAT est équipé
d’un capteur CCD produisant des images de dimension 1024×1024 pixels, et le DAT permet
l’acquisition d’images de résolution 2048×2048 pixels.
Figure 1.16. Interféromètre DDH
Laser
Modulateur Acousto-Optique
Cube séparateur de faisceau
Objectif de microscope
Wafer
Objectif de microscope
Miroir de référence
Lentille
Lentille
Faisceau de référence
Faisceau objet
Cube séparateur de faisceau
Camera CCD
Filtre spatial avec un élargisseur de faisceau
Filtre spatial avec un élargisseur de faisceau
Généralités sur la détection de défauts sur wafers électroniques
- 21 -
La formation d’une image holographique peut-être décrite par la théorie scalaire de la diffraction
[Goodman, 1996], où l’onde référence Uo(x,y) et l’onde réfléchie UR(x,y), sont définies par :
( , )etj (x,y) jψ x yo o R RU (x, y) A (x, y) e U (x, y) A (x, y) eϕ− −= = . (1.9)
L’intensité I(x,y), de la somme de ces deux fronts d’onde, est enregistrée, par exemple sur une
plaque photosensible, ou dans notre cas, directement à la surface d’un capteur CCD, avec :
( )),(),(cos),(),(2),(),(),( 22 yxyxyxAyxAyxAyxAyxI RoRo φψ −++= , (1.10)
qui contient l’information correspondant non seulement à l’intensité de chaque onde, mais aussi à
leur phase relative pour chaque position spatiale (x,y). La méthode décrite utilise une référence
ayant un front d’onde plan, qui peut être défini d’amplitude unitaire, ce qui s’exprime par la rela-
tion :
1),( =yxUO . (1.11)
Dès lors, Uo(x,y) peut être remplacée par sa valeur dans (1.10). De plus, le système est conçu
pour former des franges d’interférences uniformes, linéaires en intensité, et modulées par la to-
pologie de la surface ainsi que les indices de réfraction des différents matériaux la composant.
Ces constatations permettent de reformuler la relation (1.10) de manière plus succincte sous la
forme :
( )[ ]),(2cos),(2),(1),( 2 yxyxyxAyxAyxI yxRR φωωπµ ++++= , (1.12)
où µ est une mesure de cohérence entre les deux fronts d’onde, et qui affecte le contraste des
franges d’interférences, ωx et ωy sont les composantes fréquentielles de la fonction cosinus, c'est-
à-dire la fréquence de la porteuse. Cette fréquence (ωx, ωy), permet de retrouver l’amplitude,
AR(x,y) ainsi que la phase, φ(x,y), par une analyse fréquentielle dans l’espace de Fourier. La
Figure 1.17 présente un hologramme avec une région agrandie montrant un réseau linéaire de
franges d’interférences modulées par la topologie et les caractéristiques des matériaux de la sur-
face.
Chapitre 1
- 22 -
Figure 1.17. Hologramme et ses franges d’interférences
La reconstruction est effectuée par filtrage dans l’espace de Fourier. La transformée de Fourier
de l’hologramme est composée de l’autocorrélation qui ne contient que l’information
d’amplitude, et de deux bandes latérales complexes conjuguées contenant l’information du front
d’onde complexe (Figure 1.18). L’une des bandes latérales est centrée, ce qui correspond à une
multiplication dans l’espace temporel par une exponentielle complexe centrée sur la porteuse,
puis filtrée à l’aide d’un filtre passe bas de type Butterworth, WB, afin d’enlever la contribution
de l’autocorrélation et de l’autre bande latérale (Figure 1.19). L’image obtenue a pour équation :
( )( )[ ] Byxj
yx WeyxyxAA yx ⋅⋅++++ℑ +− )(22 ),(2cos21 ωωπφωωπµ , (1.13)
avec ℑ correspondant à la transformée de Fourier de la bande latérale centrée.
Généralités sur la détection de défauts sur wafers électroniques
- 23 -
Figure 1.18. FFT de l’hologramme
Figure 1.19. FFT de l’hologramme centrée et filtrée
Bandes latérales
Fréquence de la porteuse
Pic d’autocorrélation
Chapitre 1
- 24 -
Etant donné qu’il n’y a pas d’information utile au delà de la bande latérale, le centre de l’image
peut être extrait sans perte d’information. L’image est alors redimensionnée pour ne contenir que
la bande latérale (l’image obtenue a une taille de 512×512 pixels pour le VAT, et 1024×1024
pixels pour le DAT). Cette réduction de la taille d’image accélère les traitements appliqués à
l’image, notamment la transformée de Fourier inverse qui permet d’obtenir l’image complexe. Le
résultat de l’analyse fréquentielle dans l’espace de Fourier est une approximation du front d’onde
original,
),(),(2),( ),( yxUeyxAyxU Ryxj
RF ≈= − φµ . (1.14)
Une fois le front d’onde original UF(x,y) déterminé, l’amplitude et la phase sont calculées grâce
à :
⎟⎟
⎠
⎞⎜⎜⎝
⎛=+= −
),(Im),(Retan),(),(Im),(Re),( 122
yxUyxUyxetyxUyxUyxA
F
FFFR φ , (1.15)
où Re et Im représentent respectivement les composantes réelles et imaginaires de UF(x,y).
A la fin de la reconstruction, l’image complexe peut être décomposée sous la forme de l’image
d’amplitude (Figure 1.20), et l’image de phase (Figure 1.21) où l’on peut distinctement voir des
sauts de phase dus à l’enroulement de la phase, ou bien encore, sous la forme de sa partie réelle
(Figure 1.22), et de sa partie imaginaire (Figure 1.23). Avec l’information de topologie extraite à
partir de l’image de phase, et l’information de texture extraite à partir de l’image d’amplitude,
une image tridimensionnelle de la scène peut alors être reconstruite pour une visualisation tridi-
mensionnelle de l’échantillon (Figure 1.24).
Généralités sur la détection de défauts sur wafers électroniques
- 25 -
Figure 1.22. Partie réelle
Figure 1.23. Partie imaginaire
Figure 1.20. Image d’amplitude
Figure 1.21. Image de phase avec des enroulements
Chapitre 1
- 26 -
Figure 1.24. Vue tridimensionnelle de l'échantillon
Une fois l’image acquise, il est nécessaire d’établir une stratégie pour la détection de défauts.
Celle-ci doit être adaptée au type d’inspection voulu. Plusieurs techniques de détection de défauts
ont été développées pour les outils existants avec des champs d’application bien déterminés.
1.4. Stratégie de détection de défaut
Il existe trois grandes catégories de stratégie pour la détection de défauts suivant le mode de
comparaison choisi. Les images acquises peuvent être comparées au modèle CAO (Conception
Assistée par Ordinateur) ayant servi à créer le wafer, à une image provenant d’une base de don-
née, ou bien à une image voisine sur le wafer. Ces approches sont détaillées, ainsi que leur
champ d’application.
Généralités sur la détection de défauts sur wafers électroniques
- 27 -
1.4.1. Comparaison au modèle CAO (Die-to-CAD)
Une image réelle est comparée au modèle CAO qui a été utilisé pour fabriquer le wafer. Cette
technique apporte l’avantage d’avoir une image de référence exempte de tout défaut (modèle qui
est utilisé pour créer le circuit électronique), néanmoins, elle n’est pas employée pour la détec-
tion de défauts car elle pose un certain nombre de problèmes :
• aligner des images réelles avec les images artificielles provenant du modèle CAO,
• tenir compte des différentes couches superposées les unes aux autres,
• modéliser la réponse des différents matériaux pour une illumination donnée.
Cette technique est très largement utilisée pour la classification des défauts, afin de déterminer
leur pouvoir de nuisance en fonction de leur position sur le circuit [Yoda, Ohuchi et al., 1988],
mais n’est généralement pas utilisée pour la détection de défaut à proprement parler.
1.4.2. Comparaison à une image de base de données (Golden die ou die-to-database)
Cette technique consiste à comparer l’image à inspecter avec une image de référence provenant
par exemple d’une base de données. Cette méthode est très populaire dans les systèmes
d’inspection de structures répétitives de type mémoire par exemple, car une très petite base de
données d’images est suffisante pour couvrir tous les types de structures rencontrées [Xie et
Guan, 2000; Guan, Xie et al., 2003]. L’avantage de cette méthode réside dans l’utilisation d’une
image de référence qui par définition est exempte de défauts. Néanmoins, cette technique se li-
mite généralement aux structures répétitives afin de limiter l’espace mémoire nécessaire au stoc-
kage des données. De plus, cette technique ne s’accorde pas très bien avec les variations de fo-
cus, de même que les variations de l’épaisseur des couches déposées à la surface du wafer. Tou-
tefois, cette stratégie est relativement populaire pour l’inspection des masques utilisés pour im-
primer les motifs à la surface des wafers, car ils présentent peu de fluctuation de leur état de sur-
face [Volk, Broadbent et al., 2002].
1.4.3. Comparaison à une image voisine (Die-to-die)
Cette technique repose sur l’hypothèse que deux puces voisines sur un même wafer sont identi-
ques, à l’exception des défauts produits lors de la fabrication. Deux images provenant de la
même région sur deux puces voisines sont alors alignées puis soustraites pour créer une image de
Chapitre 1
- 28 -
différence et identifier les défauts [Tobin et Neiberg, 2001]. Cette technique très populaire
s’adapte à tout type de wafer et permet une plus grande tolérance face aux variations normales
présentes sur le wafer, car les images comparées proviennent de circuits voisins, qui partagent
donc des caractéristiques physiques très proches. La variation d’épaisseur des couches déposées
est beaucoup plus importante si l’on compare un circuit provenant du centre du wafer à un circuit
provenant du bord du wafer, que si l’on compare deux circuits voisins. Néanmoins, cette techni-
que requiert la comparaison d’une image à deux autres afin de pouvoir identifier à quel circuit les
défauts appartiennent.
Pour les techniques de comparaison avec une image voisine, ou provenant d’une base de don-
nées, l’image de référence et l’image de test sont comparées afin de générer une image de diffé-
rence. A partir du niveau de bruit présent sur l’image de différence, un seuil est défini de manière
à optimiser le rapport signal sur bruit. L’image de différence est ensuite seuillée pour localiser les
défauts.
1.4.4. Application à la technologie d’holographie digitale directe
Le VAT et le DAT sont basés sur la détection de défauts de type die-to-die où les images prove-
nant de deux circuits voisins sont alignées puis comparées. Le décalage spatial entre deux images
est mesuré avec la multiplication de leurs transformées de Fourier respectives, suivie d’une trans-
formée de Fourier inverse, ce qui correspond à une convolution des deux images. L’écart entre le
pic de la transformée inverse, et le centre de l’image correspond au décalage qu’il faut appliquer
pour aligner parfaitement les deux images.
L’information topologique indispensable à l’inspection des structures de type HAR est contenue
dans l’image de phase, mais celle-ci est difficilement utilisable directement, les sauts de phase
nécessitant un prétraitement de l’image par des algorithmes de déroulement de phase. Plusieurs
algorithmes de déroulement de phase ont été développés [Ghiglia et Pritt, 1998; Zebker et Lu,
1998], mais ils ne permettent pas d’obtenir une information fiable lorsque la phase varie de ma-
nière brutale, suivant les variations rapides de hauteur sur les structures du wafer. Afin de
conserver cette information topologique, tout en évitant le risque d’erreur du aux sauts de phase,
la méthode retenue est basée sur la soustraction de deux images complexes. Ainsi, pour chaque
point, ce sont deux vecteurs qui sont comparés, et l’amplitude de cette soustraction complexe sert
d’image de différence. Cette image est ensuite seuillée, la valeur du seuil étant définie en fonc-
Généralités sur la détection de défauts sur wafers électroniques
- 29 -
tion du niveau de bruit présent dans l’image, pour générer un masque binaire des défauts. Chaque
circuit est comparé avec le circuit précédent, et le circuit suivant, afin de pouvoir déterminer à
quel circuit appartiennent les défauts détectés. Seuls les défauts apparaissant sur les deux mas-
ques correspondent à des défauts présents sur le circuit testé. Un ET logique entre ces deux mas-
ques permet d’isoler les défauts appartenant au circuit testé, comme l’illustre la Figure 1.25. Ces
défauts sont ensuite caractérisés par leur taille, leur position, leur nombre de pixels, etc… pour
être reportés dans un fichier standard des défauts. Cette technique ne prend pas en compte le cas
de figure où deux défauts identiques seraient situés au même endroit sur deux circuits voisins,
mais recherche des défauts de distribution aléatoire, ou dont la signature correspond à un outil de
fabrication défectueux. De plus, les circuits ne sont généralement pas gravés individuellement,
mais par groupe de 4 ou plus, ce qui limite les erreurs systématiques qui pourraient se retrouver
sur tous les circuits.
Figure 1.25. Assignation des défauts
Détection
wafer
Assignation des défauts à l’image 2
1 2 3
&
1 2 3
Chapitre 1
- 30 -
1.5. Conclusion
L’analyse et la détection des défauts sur wafers sont devenues critiques pour maintenir le rende-
ment des fonderies de semi-conducteurs, en assurant une correction rapide des défaillances, sour-
ces de produits défectueux. Le marché des outils d’inspection de semi-conducteurs représente
plusieurs centaines de millions de dollars, et donne lieu à une grande compétition entre plusieurs
technologies de pointes pour répondre aux challenges définis par la feuille de route des semi-
conducteurs [Sematech, 2003]. La réduction de la taille de gravure s’est principalement opérée
dans le plan horizontal, avec peu ou pas de réduction dans l’épaisseur des films déposés, ce qui
crée des structures présentant un fort rapport largeur/profondeur (HAR) dont l’inspection reste
problématique.
Les limitations des technologies classiques les rendent inadaptées à ce type d’inspection. Les ou-
tils basés sur l’éclairage par champ clair et par champ sombre ne peuvent inspecter les structures
HAR de rapports respectivement supérieurs à 1 :1, et 1 :3. De même, la microscopie confocale
est limitée à un rapport 1 :1. La microscopie électronique à balayage permet une inspection des
structures HAR jusqu’à un rapport 1 :7, mais la lenteur de l’inspection, et la nécessité de travail-
ler sous vide ne permettent pas de suivre les cadences imposées par les chaînes de fabrication.
Pour pallier aux restrictions de ces technologies, un outil d’inspection basé sur l’holographie di-
gitale directe est développé au sein du Laboratoire National d’Oak Ridge. L’holographie repose
sur l’interaction d’une onde de référence avec l’onde objet, réfléchie par la scène à inspecter,
pour créer un hologramme contenant l’information complète de cette onde (phase et amplitude).
L’acquisition de l’hologramme sur un support électro-optiques, et la reconstruction de l’onde
objet par un ordinateur définissent l’holographie digitale. L’holographie digitale directe (DDH)
permet d’effectuer cette reconstruction à l’aide d’un seul hologramme, au prix du calcul de plu-
sieurs transformées de Fourier. Cette technologie présente de nombreux avantages qui lui per-
mettent de trouver des défauts invisibles aux autres outils optiques, avec notamment l’inspection
des structures HAR avec un rapport de 12 :1, à la fréquence d’acquisition de la camera.
Parmi les différentes stratégies de détection de défauts, la comparaison de deux images provenant
de la même région sur deux puces voisines a le mérite de s’adapter à tout type de wafer, et de ré-
duire l’effet des variations normales présentes sur le wafer. Néanmoins, cette stratégie implique
Généralités sur la détection de défauts sur wafers électroniques
- 31 -
la binarisation des images de différence par seuillage, pour identifier les défauts, ce qui peut être
problématique dans certaines condition, tel que nous allons le voir dans le Chapitre 2.
Chapitre 1
- 32 -
1.6. Bibliographie
Bingham P. R., Tobin K. W., et al. (2003). "Preliminary results for mask metrology using spatial heterodyne interferometry". 23rd
Annual BACUS Symposium on Photomask Technology, Monterey, Californie, Août. Creath K. (1988). "Phase shifting interferometry techniques". Progress in Optics. E. Wolf. New York,
Elsevier. Vol. 26, pp. 357-373. Creath K. (1993). "Temporal phase measurement methods". Interferogram Analysis: Digital Fringe Pattern
Measurement Techniques. D. W. Robinson and G. T. Reid. Bristol, IOP Publishing Ltd, pp. 94-140.
Dai X. L., Hunt M. A., et al. (2003). "Automated image registration in the semiconductor industry: A case study in the direct
to digital holography inspection system". Machine Vision Applications in Industrial In-spection XI, IS&T/SPIE's 15th Annual Symposium on Electronic Imaging. Vol. 5011, pp. 212-221, Santa Clara, California, 23-24 January.
Gabor D. (1948). "A new microscopy principle". Nature. Vol. 161, pp. 777-778. Ghiglia D. C. and Pritt M. D. (1998). "Two-dimensional phase unwrapping : theory, algorithms, and software". New York,
Wiley. Goodman J. W. (1996). "Introduction to Fourier optics". New York, McGraw-Hill. Guan S., Xie P., et al. (2003). "A golden-block-based self-refining scheme for repetitive patterned wafer inspection".
Machine Vision and Application. Vol. 13(5-6), pp. 314-321. Harrigan J. and Stoller M. (1991). "Automated wafer inspection in the manufacturing Line". Solid State Technology. Vol.
34(10), pp. 69-72. Jarvis R. and Retersdorf M. (2003). "Can technology keep pace with high aspect-ratio inspection?" Solid State Technology.
Vol. 46(11). Lamy F., Pascal G., et al. (2003). "A model for the characterization of the DT layer of ICF target by backlit shadowgrahy".
15th Target Fabrication Specialists Meeting, Gleneden Beach, Oregon, Juin 2003.
Généralités sur la détection de défauts sur wafers électroniques
- 33 -
Legrand A., Renier E., et al. (2001). "Machine vision systems in metallurgy industry". Journal of Electronic Imaging. Vol.
10(1), pp. 274-282. Leith E. N. and Upatnieks J. (1964). "Wavefront reconstruction with diffused illumination and three-dimensional objects".
Journal of the Optical Society of America. Vol. 54, pp. 1295-1301. Miteran J., Bouillant S., et al. (2003). "SVM approximation for real-time image segmentation by using an improved
hyperrectangles-based method". Real-Time Imaging. Vol. 9(3), pp. 179-188. Schulze M. A., Hunt M. A., et al. (2003). "Semiconductor wafer defect detection using digital holography". Process and Materials
Characterization and Diagnostics in IC Manufacturing II, SPIE's Advanced Microelec-tronic Micromanufacturing, SPIE. Vol. 5041, pp. 183-193, Santa Clara, Californie, 27-28 Février.
Sematech (2003). "The national technology roadmap for semiconductors: Grand Challenges", Semiconduc-
tor industry association, http://public.itrs.net/Files/2003ITRS/Home2003.htm. Thomas C. E. J., Bahm T. M., et al. (2002). "Direct to digital holography for semiconductor wafer defect detection and review". De-
sign, Process Integration, and Characterization for Microelectronics, SPIE. Vol. 4692, pp. 180-194, Santa Clara, Californie, 07 Mars.
Thomas C. E. J., Baylor L. R., et al. (2000). "Direct-to-digital holography and holovision." US Patent # 6,078,392. Thomas C. E. J., Hunt M. A., et al. (2003). "Direct to digital holography for high aspect ratio inspection of semiconductor wafers".
International Conference on Characterization and Metrology for ULSI Technology, AIP. Vol. 683, pp. 254-270, Austin, Texas, 24-28 Mars.
Tobin K. and Meriaudeau F., Eds. (2003). Sixth international conference on Quality Control by Artificial Vision. SPIE. Vol. 5132,
594 pages, Gatlinburg, TN. Tobin K. W. (1999). "Inspection in semiconductor manufacturing". Webster's Encyclopedia of Electrical and
Electronic Engineering. C. M. W. V. Sankaran, K.W. Tobin. NY, Willey & Sons. Vol. 10, pp. 242-262.
Tobin K. W. and Neiberg L. (2001). "Metrology data management and information systems". Handbook of Silicon Semicon-
ductor Metrology. A. C. Diebold. NY, Marcel Dekker.
Chapitre 1
- 34 -
Volk W. W., Broadbent W. H., et al. (2002). "Multibeam high-resolution die: database reticle inspection". 21st Annual BACUS
Symposium on Photomask Technology, SPIE. Vol. 4562, pp. 111-121, Monterey, Californie.
Xie P. and Guan S. (2000). "A golden-template self-generating method for patterned wafer inspection". Machine vi-
sion and application. Vol. 12(3), pp. 149-156. Yamaguchi I. and Zhang T. (1997). "Phase shifting digital holography". Optics Letter. Vol. 22, pp. 1268-1270. Yoda H., Ohuchi Y., et al. (1988). "An automatic wafer inspection system using pipelined image processing techniques".
IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 10(1), pp. 4-15. Zebker H. A. and Lu Y. (1998). "Phase unwrapping algorithms for radar interferometry: residue-cut, least-squares, and
synthesis algorithms". Journal of the Optical Society of America, Series A. Vol. 15(3), pp. 586-598.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 35 -
Chapitre 2 Problématique de la segmentation d’image appliquée à la détection de défauts
Problématique de la segmentation d’image appliquée à la détection de défauts
2.1. Introduction
Après avoir abordé dans le chapitre 1 les différentes techniques d’inspection de semi-conduc-
teurs, le chapitre 2 est consacré à la problématique de la segmentation d’image appliquée à la
détection de défauts. La stratégie de détections des défauts, basée sur la comparaison de deux
images provenant de deux circuits voisins permet d’obtenir une image de différence contenant
l’ensemble des différences, c'est-à-dire les défauts, et du bruit. Une binarisation de ces images est
nécessaire pour en extraire l’information utile à la construction de la carte des défauts. Il faut
donc comparer différentes stratégies de seuillage : seuillage global, local basé sur l’évolution des
statistiques du niveau de bruit, local à l’intérieur d’une fenêtre glissante, et local à l’intérieur de
régions segmentées, pour identifier la méthode techniquement possible permettant de maximiser
le nombre de défauts détectés tout en minimisant le nombre de fausses alarmes. Cette probléma-
tique posée par le seuillage des images de différence conduit à une approche basée sur la seg-
mentation d’image. L’intérêt des outils basés sur l’analyse de texture est détaillé, et plusieurs
méthodes de segmentation de texture sont décrites, avec notamment l’utilisation de classifieurs
non paramétriques.
2.2. Techniques de seuillage
Le DAT et le VAT utilisent un algorithme de détection de défauts de type die-to-die, où les ima-
ges correspondant à la même région sur deux circuits voisins sont alignées puis soustraites afin
de générer une image de différence. Une fois cette image de différence obtenue, il faut alors dé-
finir une stratégie afin de maximiser le nombre de défauts trouvés, tout en minimisant le nombre
de fausses détections générées. Il existe pour cela plusieurs techniques ayant chacune leurs dé-
fauts, et leurs avantages.
Chapitre 2
- 36 -
2.2.1. Seuillage global
Un seuil global est appliqué sur l’image de différence. Celui-ci ne peut être fixe, car différentes
structures ou matériaux, génèrent différents niveaux de bruits dans l’image de différence. Suivant
leur fonction, certaines structures ont par exemple une plus grande tolérance sur la précision de
l’alignement lors du dépôt des différentes couches, ce qui crée un niveau de bruit plus important
que des structures parfaitement alignées. De même, certains matériaux tels que les couches mé-
talliques, peuvent présenter une texture irrégulièrement granuleuse qui entraîne un fort niveau de
bruit lors de la soustraction. Le seuil doit être fonction du niveau de bruit présent à l’intérieur de
l’image de différence. Il existe une grande variété de techniques de seuillage d’images en niveau
de gris. Sezgin et Sankur dressent un état de l’art complet sur ces différentes techniques [Sezgin
et Sankur, 2004].
Parmi ces méthodes, une méthode communément utilisée pour le seuillage d’images de diffé-
rence de semi-conducteur est basée sur une adaptation de la méthode de Niblack [Niblack, 1986]
pour un seuillage global. Le seuil T est ainsi défini suivant l’équation :
µσ +×= KT , (2.1)
avec µ la valeur moyenne du niveau de gris dans l’image, σ l’écart type, et K le facteur de tolé-
rance, ce qui permet de définir pour chaque image un seuil qui varie en fonction du niveau de
bruit présent dans l’image.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 37 -
Figure 2.1. Schéma présentant l’organigramme de la segmentation des défauts par seuillage global
Toutefois, cette méthode ne donne pas entière satisfaction, de même que toutes les autres techni-
ques de seuillage global. En effet, il est nécessaire de trouver une technique adaptée à la nature
des images dont nous disposons. Celles-ci ne contiennent pas un seul type de structure, mais gé-
néralement, plusieurs types de structures, générant chacune un niveau de bruit différent dans
l’image de différence. Dès lors, un seuil global ne permet pas d’obtenir un seuil optimal pour
chaque type de structure. En effet, pour détecter les défauts dans les zones les moins bruitées, le
seuil doit être diminué, ce qui peut entraîner de fausses détections dans les zones les plus bruitées
(Figure 2.1). Il est donc impossible de définir un seuil optimal pour l’ensemble de l’image qui
permet de maximiser le nombre de défauts détectés tout en minimisant le nombre de fausses
alarmes. Il faut donc s’orienter vers un seuillage adaptatif qui est optimisé en chaque point de
l’image.
Circuit de gauche
Circuit de droite
Difference
Masque des défauts
Définit un seuil global, basé sur le niveau de bruit dans l’image de
différence.
µσ += .KT
Chapitre 2
- 38 -
2.2.2. Seuillage local basé sur l’évolution des statistiques du niveau de bruit
Il est envisageable de mesurer l’évolution du niveau de gris de chaque pixel en considérant une
séquence d’images de différence provenant du même emplacement sur plusieurs circuits. Un
seuil T peut alors être défini pour chaque pixel à partir de la relation (2.1), avec µ la valeur
moyenne du niveau de gris du pixel dans la séquence d’image, σ son écart type, et K le facteur de
tolérance. Cependant, cette méthode requiert l’acquisition d’un très grand nombre d’images pour
obtenir des statistiques valables, ce qui pose le problème du stockage de ces données, et du temps
nécessaire à cette acquisition. Ce problème est primordial si l’on considère qu’un circuit de 0.5
cm2 nécessite l’acquisition de 5000 images de taille 1024×1024 pixels codées sur 16 bits, à la
résolution du VAT, soit 2 Mo par image, et 9.7 Go pour le circuit complet, et qu’avec le DAT, la
résolution de chaque image est doublée, soit une taille de 8 Mo par image, et près de 39 Go pour
le circuit complet. Le stockage des données peut rapidement devenir problématique si l’on utilise
plusieurs dizaines de circuits pour construire les statistiques de niveau de bruit. Cette méthode
n’est donc techniquement pas réaliste, et son étude n’a pas été plus approfondie.
2.2.3. Seuillage local adaptatif dans une fenêtre glissante
Le seuil est ici déterminé localement, en fonction du niveau de bruit présent à l’intérieur de la
fenêtre glissante. Cette stratégie permet de ne considérer qu’une petite partie de l’image à la fois;
un seuil individuel étant déterminé pour chaque pixel en fonction des statistiques du niveau de
bruit présent dans un voisinage de taille prédéterminée. Cette technique permet de suivre les va-
riations du niveau de bruit présent dans l’image de différence en n’en considérant qu’une petite
partie à la fois.
Pour toutes les techniques de seuillage local décrites par Sezgin et Sankur [Sezgin et Sankur,
2004], il est crucial de définir une fenêtre d’analyse dont la taille est appropriée à la taille des ob-
jets à segmenter. Dans le cas par exemple de la binarisation de documents pour la reconnaissance
optique de caractères, la taille de la fenêtre analysante est ajustée pour correspondre à la taille
d’un caractère [White et Rohrer, 1983], ou à l’épaisseur du trait d’un caractère [Kamel et Zhao,
1993]. Il est donc primordial de considérer la taille des objets à segmenter avant de définir une
taille de fenêtre analysante.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 39 -
Dans le cas de la segmentation d’images de différence pour la détection de défauts, la difficulté
réside dans le fait qu’aucune information a priori sur la taille des défauts n’est connue, celle-ci
pouvant varier de quelques pixels de large (Figure 2.2), à plusieurs centaines de pixels (Figure
2.3), constituant un handicap majeur pour le seuillage local à fenêtre glissante. Pour être efficace,
la fenêtre locale doit être suffisamment grande pour englober les informations statistiques de
l’objet et du fond qui l’entoure. Par exemple, dans le cas de la Figure 2.3, l’ensemble du défaut
ne pourra être détecté si la fenêtre d’analyse est trop petite. En effet, si la fenêtre d’analyse ne
contient que le défaut, et pas d’information sur la zone correspondant au fond, il est alors impos-
sible de pouvoir extraire le défaut, quelque soit la méthode de seuillage local utilisée. Seules les
irrégularités du défaut peuvent alors être détectées. Si pour pallier ce problème, la taille de la fe-
nêtre d’analyse est fixée suffisamment grande pour contenir à la fois le défaut et le fond de
l’image, il se pose alors le problème des défauts de petite taille situés à proximité des zones géné-
rant un niveau de bruit plus important comme le montre la Figure 2.2.b. Pour être détectée, la
fenêtre d’analyse centrée sur le défaut ne doit pas couvrir une partie d’une zone plus bruitée
(mais exempte de défaut), car cette zone modifie les données statistiques du fond de l’image, et
augmente le niveau du seuil. Il faudrait alors, dans ce cas, réduire la taille de la fenêtre afin
qu’elle ne contienne que le défaut, et le fond de l’image. Le seuillage local pose aussi de multi-
ples problèmes avec les structures fines, telles que les barres de logique verticales présentes dans
l’image Figure 2.2.b. Ces bandes de faible taille peuvent aisément générer des fausses alarmes du
fait de leur faible taille, et de leurs statistiques de bruit proches de celles des défauts.
En partant de ces constatations, il apparaît que le seuillage doit être effectué dans des zones ou le
fond de l’image possède des caractéristiques de bruit uniformes. Il convient donc de segmenter
les images pour isoler les différentes structures. Cette segmentation génère des masques qui per-
mettent de calculer un seuil différent pour chaque région.
Chapitre 2
- 40 -
(a) (b)
Figure 2.2. Exemple (a) d'un défaut de petite taille situé à proximité d'une zone de logique, et (b) de l’image de différence correspondante.
(a) (b)
Figure 2.3. Exemple (a) d'un défaut de grande taille situé à proximité d'une zone de logique, et (b) de l’image de différence correspondante.
2.2.4. Seuillage adaptatif à l’intérieur de régions segmentées
Pour cette approche, un masque des différentes structures est généré, afin d’identifier les régions
ayant un fort niveau de bruit dans l’image de différence. Le seuil peut alors être réglé de manière
optimale pour chaque région. Cette segmentation permet de tenir compte de la criticité d’un dé-
faut selon son emplacement. En d’autres termes, il est nécessaire de définir un seuil bas pour les
zones dans lesquelles les défauts sont critiques, ces derniers ayant une grande probabilité
mémoire
logique
défaut
mémoire
logique
défaut
Problématique de la segmentation d’images appliquée à la détection de défauts
- 41 -
d’empêcher le circuit de fonctionner (ce que l’on appelle un défaut tueur ou "killer defect"). Un
seuil plus élevé est défini dans les zones où de petits défauts peuvent être tolérés car ils
n’empêchent pas le bon fonctionnement du circuit (Figure 2.4).
Figure 2.4. Schéma présentant l’organigramme de la segmentation des défauts par seuillage adaptatif à l’intérieur de
régions segmentées
Dans nos exemples (Figure 2.2 et Figure 2.3), des défauts de petite taille peuvent être tolérés à
l’intérieur des structures de logique, celles-ci générant beaucoup de bruit dans l’image de diffé-
rence. Par contre, dans les zones de mémoire, générant peu de bruit dans l’image de différence,
chaque défaut est potentiellement “tueur”. Une plus grande tolérance est alors accordée aux zo-
nes de logique, alors qu’elle est restreinte pour les zones de mémoire. L’équation (2.1) peut alors
être modifiée pour calculer un seuil adaptatif à l’intérieur de chaque région segmentée, ce qui,
pour chaque région R, permet de définir un seuil TR tel que:
R R R RT K σ µ= × + , (2.2)
Circuit de gauche
Circuit de droite
Différence
Masque des défauts
Définit un seuil pour chaque région, basé sur le niveau de bruit a l’intérieur de chaque
région dans l’image de différence.
Masque des différentes structures
RRRR KT µσ += .
Chapitre 2
- 42 -
avec µR la valeur moyenne du niveau de gris à l’intérieur de la région R, σR l’écart type, et KR le
facteur de tolérance pour cette région. Chaque région a alors un seuil adapté à son niveau de
bruit, pondéré par un facteur de tolérance relatif à la sensibilité prédéfinie du type de structure
présent dans cette région (criticité). A partir des images Figure 2.2.a et Figure 2.3.a, des masques
peuvent être définis, respectivement Figure 2.5.a et Figure 2.6.a. Ces masques sont ensuite utili-
sés pour calculer les statistiques de bruit à l’intérieur de chaque région, à l’aide de la relation
(2.2) avec Kbleu=4, et Krouge=7 afin de déterminer Tbleu, et Trouge pour chaque image, et ainsi obte-
nir les images seuillées Figure 2.5.b et Figure 2.6.b dans lesquelles le défaut est nettement visible
dans la zone de mémoire. Un deuxième défaut apparaît sur l’image seuillée Figure 2.5.b
correspondant à une poussière sur l’objectif. Cette tache étant présente sur toutes les images, elle
devrait théoriquement se soustraire parfaitement, et ne pas être détectée. Néanmoins, les varia-
tions de mise au point qui modifient la taille apparente de la tache, et l’alignement nécessaire en-
tre deux images avant la soustraction, qui ajoute un décalage dans la position de la tache, empê-
chent alors la tache de se soustraire parfaitement à elle-même. La position de la tache est enre-
gistrée au moment de la calibration de l’appareil, ce qui permet d’ignorer les défauts détectés à
cette position, et ainsi ne pas produire de fausses détections.
(a) (b)
Figure 2.5. Exemple (a) du masque des différentes régions, et (b) de l’image de différence seuillée par la méthode du seuillage adaptatif dans chaque région.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 43 -
(a) (b)
Figure 2.6. Exemple (a) du masque des différentes régions, et (b) de l’image de différence seuillée par la méthode du seuillage adaptatif dans chaque région.
D’autres algorithmes de seuillage global pourraient être utilisés à l’intérieur des régions seg-
mentées, mais généralement, ceux-ci cherchent à identifier et séparer 2 populations de niveau de
gris dans l’image, ce qui permet de trouver les défauts, mais peut générer des fausses détections
lorsqu’il n’y a pas de défauts à segmenter, et qu’une seule population est présente à l’intérieur de
la région analysée. Il est donc préférable d’utiliser un algorithme plus simple qui recherche sim-
plement les pixels très différents de la population de pixels exempte de défauts.
2.3. Segmentation d’images
2.3.1. Introduction
La segmentation d’images est une étape très importante en analyse d’images. Cette opération qui
consiste à trouver et séparer des zones homogènes dans une image a été étudiée par de nombreux
auteurs [Pavlidis, 1982]. Il existe deux principales approches en segmentation : l'approche fron-
tière et l'approche région.
L’approche frontière effectue une recherche des contours par des méthodes dérivatives, surfaci-
ques, morphologiques ou variationnelles [Cocquerez et Philipp, 1995]. Avec ce type de méthode,
un ensemble de contours candidats est déterminé (tracés étant susceptibles d'être des contours).
Ensuite, une sélection est effectuée afin de ne garder que les contours qui sont les plus probables.
Dans l'approche région, le découpage de l’image est opéré par la recherche de régions homogè-
nes, le critère d’homogénéité pouvant être basé sur une information extraite à partir du niveau de
Chapitre 2
- 44 -
gris [Sezgin et Sankur, 2004], de la couleur [Lucchese et Mitra, 2001], de la texture [Materka et
Strzelecki, 1998; Tuceryan et Jain, 1998], ou une combinaison de plusieurs informations [Thai et
Healey, 1999]. Toutefois, il existe aujourd'hui un nombre considérable de méthodes [Pal et Pal,
1993] qu'il est difficile de classer en dehors du schéma régions versus frontières qui tend à dispa-
raître au profit des approches coopératives [Chu et Aggarwal, 1993; Chakraborty et Duncan,
1999; Germond, Dojat et al., 2000]. Pour plus de détails, le lecteur peut se reporter aux
nombreux états de l’art disponibles sur la segmentation d’images [Fu et Mui, 1981; Haralick,
1983; Haralick et Shapiro, 1985; Sahoo, Soltani et al., 1988; Pal et Pal, 1993; Singh et Bovis,
2001].
Le problème de la segmentation reste ouvert, au vu du grand nombre de publications régulière-
ment proposées sur le sujet. En effet, il n’existe pas de méthode générale fonctionnant pour tout
type d’images [Fu et Mui, 1981], les techniques existantes étant optimisées pour une application
donnée. Dans l’application spécifique de la segmentation d’images de semi-conducteurs pour la
détection de défauts, la texture joue un rôle primordial. En effet, il est indispensable de séparer
les différentes régions de l’image, mais aussi de les identifier afin de pouvoir leur attribuer le
facteur de tolérance KR approprié lors du seuillage des images de différence d’après la relation
(2.2). Une approche frontière ne permet pas d’obtenir ce type d’information, et n’est donc pas
appropriée pour résoudre ce type de problème. L’information de niveau de gris ne peut pas non
plus être utilisée car les variations d’éclairage et d’épaisseur de film la modifient fondamentale-
ment. La Figure 2.7.a présente une structure sombre en forme de 8 sur un fond clair, alors que la
Figure 2.7.b présente la même structure apparaissant cette fois-ci comme étant claire sur un fond
sombre. Ce type de variation n’étant pas inhabituel sur les semi-conducteurs, il rend la segmen-
tation d’image assez délicate.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 45 -
(a) (b)
Figure 2.7. Mise en évidence des variations induites par les variations d’épaisseur de film
2.3.2. Analyse de texture
La notion de texture est délicate à définir, notamment pour lui donner un formalisme précis
comme celui qui régit la notion de contour. Karu s’est par exemple intéressé au problème de dé-
finir si une image contient une information de texture avant de lui appliquer des outils d’analyse
de texture [Karu, Jain et al., 1996]. La texture est une information qui rend compte de
l’apparence visuelle d’un objet, ou d’une image. Elle est caractérisée par l’arrangement plus ou
moins régulier de motifs élémentaires. L’analyse de texture peut-être découpée en 4 famil-
les avec les méthodes statistiques, géométriques, basées sur un modèle, et basées sur les outils du
traitement du signal [Tuceryan et Jain, 1990].
2.3.2.1. Méthodes statistiques
La caractéristique première d’une texture est sa distribution spatiale des niveaux de gris.
L’utilisation de paramètres extraits à partir des statistiques de l’image est donc l’une des premiè-
res méthodes à avoir été proposée. Il est alors important de définir le vocabulaire utilisé :
• Statistiques du 1er ordre : mesure de la probabilité d’observer le niveau de gris d’un
pixel choisi aléatoirement dans l’image. Elles dépendent seulement de la valeur des
pixels pris individuellement, et ne prennent pas en compte les interactions entre pixels
voisins. La valeur moyenne du niveau de gris est un exemple de statistique du 1er or-
dre.
Chapitre 2
- 46 -
• Statistiques de 2ème ordre : mesure la probabilité d’observer une paire de niveau de
gris distant d’un vecteur d’orientation et de longueur aléatoire
Les travaux d’Haralick sur les matrices de co-occurrence [Haralick, Shanmugam et al., 1973;
Haralick, 1979] ont donné une des techniques les plus connues. Soit la matrice de co-occurrence
des niveaux de gris Pd pour un vecteur de déplacement d=(dx, dy). La valeur (i,j) de Pd corres-
pondant au nombre d’occurrences de la paire de niveau de gris i et j distant de d est définie tel
que :
( , ) |(( , ), ( , )) : ( , ) , ( , ) |dP i j r s t v I r s i I t v j= = = , (2.3)
avec ( , ), ( , )r s t v N N∈ × , N étant la taille de l’image, et ( , ) ( , )t v r dx s dy= + + . La matrice de co-
occurrences révèle certaines propriétés de la distribution spatiale des niveaux de gris dans la
texture de l’image. Haralick a proposé un certain nombre de paramètres qui peuvent être calculés
à partir de la matrice de co-occurrence tels que l’énergie, l’entropie, le contraste, l’homogénéité
et la corrélation pour caractériser la texture.
2: ( , )di j
Energie P i j∑∑ , (2.4)
: ( , ) log ( , )d di j
Entropie P i j P i j−∑∑ , (2.5)
2: ( ) ( , )di j
Contraste i j P i j−∑∑ , (2.6)
( , ):1
d
i j
P i jHomogénéitéi j+ −∑∑ , (2.7)
( )( ) ( , )
: x y d
i j x y
i j P i jCorrélation
µ µσ σ
− −∑∑ . (2.8)
Avec µx et µy les moyennes et σx et σy les écarts type de Pd(x) et Pd(y) définis tels que :
( ) ( , ) et ( ) ( , )d d d dj i
P x P x j P y P i y= =∑ ∑ (2.9)
Davis propose une généralisation des matrices de co-occurrence pour la discrimination de texture
[Davis, Johns et al., 1979; Davis, Clearman et al., 1981]. Ces matrices ne décrivent pas la texture
directement, mais plutôt l’arrangement spatial des caractéristiques locales, telles que les contours
Problématique de la segmentation d’images appliquée à la détection de défauts
- 47 -
et les lignes. Plus récemment, une méthode a été proposée pour améliorer la qualité des paramè-
tres générés par la matrice de co-occurrence en les pondérant en fonction de leur position spatiale
ou de leur pouvoir discriminant [Walker, Jackway et al., 1995].
Une propriété importante de la plupart des textures est leur nature répétitive. La fonction
d’autocorrélation d’une image peut être utilisée pour mesurer la régularité et la finesse d’une
texture dans l’image. Elle est définie suivant :
0 0
2
0 0
( , ) ( , )( , )
( , )
N N
u vN N
u v
I u v I u x v yx y
I u vρ = =
= =
+ +=
∑∑
∑∑. (2.10)
Les méthodes basées sur les matrices de co-occurrence sont quelques peut délaissées aujourd’hui
car elles demandent beaucoup de puissance de calcul, et ne travaillent que sur un voisinage de
taille réduite ce qui ne permet pas l’analyse de texture grossière.
2.3.2.2. Méthodes géométriques
Les méthodes géométriques sont basées sur la caractérisation de la primitive d’une texture, c'est-
à-dire l’élément de base permettant de reconstruire la texture. Tuceryan et Jain proposent une
extraction de paramètres basée sur le diagramme de Voronoi d’une image [Tuceryan et Jain,
1990]. Les marqueurs de textures sont construits pour représenter de manière simple les primiti-
ves. Ils peuvent être les points de gradient fort, des segments de droite, ou des contours fermés.
Un diagramme de Voronoi est alors construit à partir de ces marqueurs. Un diagramme de
Voronoï d'un ensemble de sites est une partition du plan comme le montre la Figure 2.8. Cette
partition se compose de :
• Régions : L'ensemble des points du plan plus proches d'un marqueur que de tous les autres.
• Côtés : L'ensemble des points du plan équidistants de 2 marqueurs.
• Sommets : L'ensemble des points du plan plus proches d'au moins 3 marqueurs.
Un ensemble complet de polygones est appelé diagramme de Voronoi [Voronoi, 1908]. Deux
points du diagramme sont dits voisins si les polygones qui les contiennent ont un bord en com-
mun. Les propriétés géométriques de ces polygones sont utilisées comme paramètre de texture.
Chapitre 2
- 48 -
Le calcul des moments des polygones de Voronoi sont des paramètres qui caractérisent la distri-
bution spatiale et la forme des marqueurs de texture.
(a) (b)
Figure 2.8. Diagramme de Voronoi avec (a) un exemple de texture, et (b) le diagramme de Voronoi correspondant.
D’autres méthodes, notamment [Zucker, 1976] et [Fu, 1982] étudient les règles de placement des
marqueurs de texture pour obtenir la texture observée.
2.3.2.3. Méthodes basées sur un modèle
Ces méthodes d’analyse construisent un modèle de l’image qui peut être utilisé pour décrire la
texture et aussi la synthétiser.
Les champs de Markov permettent d’extraire l’information contextuelle locale d’une image. Pour
ces modèles, l’intensité de chaque pixel dépend seulement du niveau de gris des pixels du voisi-
nage. Ils définissent une méthode très efficace pour définir les interactions non linéaires entres
des paramètres de même nature ou de nature différente, tel que le niveau de gris et la position
spatiale. Ils ont été appliqués à la segmentation d’image par [Therrien, 1983; Cohen et Cooper,
1987]. Les champs de Markov sont utilisés pour estimer un modèle paramétrique de la texture
d’une image à partir d’un lot d’échantillons réels. Ces modèles sont restreints à un voisinage lo-
cal très petit qui n’est pas adapté aux textures grossières.
De nombreuses textures sont auto-similaires à différentes échelles. C'est en partant de ce constat
que les méthodes fractales sont devenues populaires pour modéliser ces propriétés en traitement
d’image. La géométrie fractale a été introduite par Mandelbrot qui fut le premier à en remarquer
l’existence dans la nature [Mandelbrot, 1983]. Les fractales déterministes sont définies par le
concept d’auto-similarité : à partir d’un ensemble fini A dans un espace Euclidien de dimension
n, l’ensemble A est dit auto-similaire si A est l’union de N copies distinctes de lui-même, chacune
ayant été réduite par un facteur r. La dimension fractale D est alors définie suivant la relation :
Problématique de la segmentation d’images appliquée à la détection de défauts
- 49 -
loglog(1/ )
NDr
= . (2.11)
La dimension fractale donne une mesure de la régularité de la texture. Plus la dimension fractale
est grande, plus la texture est irrégulière, car il est nécessaire de combiner plus de transforma-
tions pour retrouver l’ensemble de départ. Néanmoins, les textures naturelles ne sont générale-
ment pas déterministes, mais présentent une variation statistique, ce qui rend le calcul de la di-
mension fractale plus compliqué. Des méthodes plus évoluées de mesure de la dimension fractale
ont alors étés proposées [Voss, 1986; Keller, Chen et al., 1989; Super et Bovik, 1991]. Les
fractales ont été appliquées avec succès à plusieurs problèmes de segmentation d’image [Ferrell,
Gleason et al., 2003].
2.3.2.4. Méthodes basées sur les outils du traitement du signal
Ces méthodes mesurent des paramètres à partir d’images filtrées par les techniques de traitement
du signal. Ces paramètres sont ensuite utilisés pour discriminer différents types de texture. Cer-
taines méthodes effectuent une mesure de la densité de contour après convolution avec un simple
masque tel que l’opérateur Laplacien, ou de Robert :
1
1 00 1
M ⎡ ⎤= ⎢ ⎥−⎣ ⎦
2
0 11 0
M ⎡ ⎤= ⎢ ⎥−⎣ ⎦
1 1 11 8 11 1 1
L− − −⎡ ⎤
⎢ ⎥= − −⎢ ⎥− − −⎢ ⎥⎣ ⎦
Opérateur de Robert Opérateur Laplacien
L’introduction d’un opérateur non linéaire est nécessaire pour discriminer les textures ayant les
mêmes statistiques de second ordre, et qui ne peuvent être séparées uniquement à l’aide de sim-
ples filtres spatiaux [Malik et Perona, 1990; Unser et Eden, 1990].
Des filtres spatiaux basés sur les moments d’ordre plus élevés sont proposés par Laws [Laws,
1980]. Les moments d’ordre (p+q) sur une région R sont donnés par :
( , )
( , ) p qpq
x y R
m I x y x y∈
= ∑ . (2.12)
Si la région R est un voisinage local rectangulaire, alors, les moments sont calculés autour de
chaque pixel par un ensemble de masques. Les images filtrées correspondent aux moments et
sont utilisées comme paramètres pour la segmentation. Les masques sont obtenus en définissant
une fenêtre glissante de taille W×W et un système de coordonnées locales à l’intérieur de cette
Chapitre 2
- 50 -
fenêtre. Soit (i, j) les coordonnées de l’image pour lesquelles les moments sont calculés. Pour les
pixels de coordonnées (m, n) compris dans la fenêtre, les coordonnées normalisées (xm, yn) sont
données par :
/ 2m
m ixW
−= , et
/ 2nn jyW
−= . (2.13)
Alors, les moments à l’intérieur de la fenêtre centrée en (i, j) sont calculés par la somme (2.12) en
utilisant le système de coordonnées défini en (2.13).
/ 2 / 2
/ 2 / 2
( , )W W
p qpq m n
n W m W
m I m n x y=− =−
= ∑ ∑ . (2.14)
Cette expression permet de calculer les masques de convolution qui permettent de calculer les
moments spatiaux [Tuceryan, 1994]. Ces méthodes ne sont pas appropriées aux textures grossiè-
res nécessitant une analyse dans un voisinage très large. Il existe cependant des méthodes
d’analyse fréquentielle permettant l’analyse de textures fines et grossières. Ces outils sont très
appropriés à l’analyse de texture car ils imitent le fonctionnement de la vision humaine, comme
l’ont montré les études psychophysiques [Campbell et Robson, 1968; Georgeson, 1979]. Les
techniques spatio-fréquentielles rencontrent un grand succès dans l’analyse de texture et la seg-
mentation d’image. Plusieurs de ces méthodes sont décrites et expliquées dans les paragraphes
suivants.
2.3.3. Analyse spatio-fréquentielle
2.3.3.1. La transformée de Fourier
La transformée de Fourier fut le premier outil d’analyse fréquentielle utilisé en traitement
d’images [Brigham, 1988; Bracewell, 2000]. Elle permet en outre de réaliser des opérations de
filtrage par simple multiplication dans le domaine fréquentiel. La transformée de Fourier est une
transformation linéaire et inversible permettant de décomposer un signal sur la base des expo-
nentielles complexes (la base du domaine temporel ou spatial est celle constituée par les diracs),
tout signal pouvant être décrit par :
( ) ( ) ( )f t f u u t duδ= −∫ . (2.15)
Le spectre obtenu permet alors de rendre compte de la composition fréquentielle du signal origi-
nal. Cependant les signaux possédant des phases transitoires ou des parties non-stationnaires sont
Problématique de la segmentation d’images appliquée à la détection de défauts
- 51 -
mal représentés par une transformée de Fourier, parce que l'intégration est effectuée sur tout le
domaine temporel et fait disparaître toute relation par rapport à l'indice temporel dans le spectre
final. Ainsi, l’information fréquentielle est directement disponible aux dépens de l’information
temporelle. Dans le cas de l’analyse d’image, il est donc possible de connaître directement les
fréquences principales du signal, mais par leur position dans l’image, ce qui représente un handi-
cap majeur pour segmenter les images.
La transformée de Fourier à fenêtre glissante a été développée pour pallier ce problème en faisant
intervenir une fenêtre temporelle dont le rôle est de limiter le domaine d'intégration temporel et
d'obtenir ainsi une localisation de l'information. Cette approche n'est pourtant pas pleinement sa-
tisfaisante car le choix de la fenêtre utilisée et plus précisément de sa largeur temporelle est pro-
blématique : la taille de fenêtre, donc la résolution temporelle est inversement proportionnelle à
la résolution fréquentielle. Une fenêtre de petite taille donne une excellente résolution tempo-
relle, car elle permet de localiser très précisément la position spatiale où la mesure fréquentielle
est effectuée. Par contre, le calcul de la transformée de Fourier est effectué sur une très courte
période ce qui est adapté aux signaux haute fréquence, mais n’est pas adapté à l’analyse de si-
gnaux basse fréquence. Le problème est le même avec une fenêtre de taille plus grande, où
l’augmentation de la résolution fréquentielle des basses fréquences se fait au détriment de la ré-
solution spatiale des hautes fréquences. Ce phénomène est plus connu sous le nom du principe
d’incertitude de Heisenberg.
Cette incertitude ne peut être résolue de manière optimale sans connaissance a priori du signal.
Finalement, il en découle que la taille de la fenêtre d'analyse doit varier afin de pouvoir saisir les
informations hautes et basses fréquences à une résolution acceptable.
2.3.3.2. Les filtres de Gabor
Le concept de la représentation spatio-fréquentielle de signal fut déjà introduit dans le contexte
des systèmes de communication par Gabor [Gabor, 1946]. Dans ce type de représentation, la fré-
quence du signal est vue comme un phénomène local, c'est-à-dire une fréquence locale qui peut
varier en fonction de la position dans l’image. En rapprochant cette représentation à la vision
humaine, les différences perçues entre les textures correspondent à une différence des fréquences
locales. Dès lors, la segmentation de texture impose une décomposition de l’image dans une re-
présentation jointe spatio-fréquentielle par l’utilisation d’un banc de filtres passe bande, et
Chapitre 2
- 52 -
l’utilisation de cette information pour identifier les régions ayant des informations spatio-fré-
quentielles similaires.
Cette approche pose deux problèmes majeurs afin d’obtenir une stratégie de segmentation opti-
male [Dunn, Higgins et al., 1994] :
• le choix des filtres individuels :
Plusieurs classes de fonctions ont été proposées pour les filtres, avec les fonctions
élémentaires de Gabor [Clark et Bovik, 1989; Fogel et Sagi, 1989; Bovik, Clark et
al., 1990; Farrokhnia et Jain, 1991; Jain et Farrokhnia, 1991], ou des différences
de gaussiennes décalées [Young, 1985; Malik et Perona, 1990].
• la configuration du banc de filtres :
Certaines approches tentent d’imiter au mieux la vision humaine [Malik et Perona,
1990], d’autres approches utilisent un banc de filtre complet [Fogel et Sagi, 1989;
Farrokhnia et Jain, 1991; Jain et Farrokhnia, 1991], et d’autres essayent
d’optimiser la sélection d’un filtre pour une texture donnée [Bovik, Clark et al.,
1990; Dunn et Higgins, 1995; Weldon, Higgins et al., 1996], ou de plusieurs fil-
tres pour plusieurs textures données [Weldon et Higgins, 1998].
Les fonctions élémentaires de Gabor, proposées par Gabor [Gabor, 1946], puis appliquées aux
signaux 2D par Daugman [Daugman, 1985] définissent la réponse impulsionnelle des filtres de
Gabor qui possèdent des qualités essentielles pour la segmentation d’image :
• Ce sont les seules fonctions qui permettent d’obtenir une résolution jointe optimale en
temps et en fréquence [Daugman, 1985]. Elles peuvent donc être localisées de ma-
nière optimale dans le domaine spatial et fréquentiel. Il en découle que les filtres de
Gabor peuvent être définis pour extraire une bande de fréquence de manière très sé-
lective tout en gardant une bonne localisation spatiale.
• Le champ récepteur des cellules complexes du cortex visuel primaire peut être ap-
proximé par les fonctions de Gabor [Li et Atick, 1994].
Les filtres de Gabor sont donc définis par leur réponse impulsionnelle h(x, y) qui est une gaus-
sienne modulée par une exponentielle complexe g(x, y) telle que :
2 ( )( , ) ( ', ') e j Ux Vyh x y g x y π += , (2.16)
Problématique de la segmentation d’images appliquée à la détection de défauts
- 53 -
où x′ et y′ sont les coordonnées après rotation d’un angle φ tel que :
' cos( ) sin( )' sin( ) cos( )
x x yy x y
φ φφ φ
+⎡ ⎤ ⎡ ⎤=⎢ ⎥ ⎢ ⎥− +⎣ ⎦ ⎣ ⎦
, (2.17)
et :
( )2 2
2/2
2
1( , ) e2
x y
g x yλ
σ
πλσ
+−
= . (2.18)
L’enveloppe gaussienne g(x, y) est caractérisée par son écart-type σ définissant sa taille, et le
rapport λ sa forme, la gaussienne étant circulaire pour λ = 1. Dans le cas contraire, l’orientation
de l’axe principal de la gaussienne est donné par l’angle φ. La fonction de transfert de h(x, y) est
donnée par :
( , ) ( ' ', ' ')H u v G u U v V= − − , (2.19)
avec :
2 2 2 2 22 ( )( , ) e u vG u v π σ λ− += , (2.20)
et :
' cos( ) sin( )' sin( ) cos( )
u u vv u v
φ φφ φ
+⎡ ⎤ ⎡ ⎤=⎢ ⎥ ⎢ ⎥− +⎣ ⎦ ⎣ ⎦
. (2.21)
(U′, V′) est une rotation similaire d’un angle φ de la fréquence (U, V). Il en découle que H(u, v)
est un filtre passe bande Gaussien, dont l’axe principal est orienté d’un angle φ par rapport à
l’axe u, de forme définie par λ, de fréquence centrale 2 2F U V= + orienté selon 1tan ( / )V Uθ −= , comme décrit dans la Figure 2.9.
Chapitre 2
- 54 -
Figure 2.9. Représentation d'un filtre de Gabor dans l'espace de Fourier avec φ ≠ θ
Cette configuration génère des filtres dissymétriques dont la bande passante varie en fonction de
l’orientation (Figure 2.11.a). Il est préférable de considérer les filtres dont l’orientation φ de la
gaussienne correspond à l’orientation θ de l’exponentielle complexe, soit φ = θ (Figure 2.11.b).
Ceci permet de reformuler les équations (2.16) et (2.19) de manière plus compacte tel que :
2 '( , ) ( ', ') e j Fxh x y g x y π= , (2.22) et, ( , ) ( ' , ')H u v G u F v= − . (2.23)
Dans cette configuration, la gaussienne G(u, v) est orientée selon (u′, v′) afin que son axe princi-
pal fasse un angle θ avec l’axe u, puis est translatée d’une quantité F, comme décrit dans la
Figure 2.10.
Figure 2.10. Représentation d'un filtre de Gabor dans l'espace de Fourier avec φ =θ
σ/λσ
θ
φ
u
v
F u’
v’
U’
V’
U
V
θ
σ σ/λ
u
v
F
u’
v’
Problématique de la segmentation d’images appliquée à la détection de défauts
- 55 -
Le but ultime des filtres de Gabor est d’obtenir un banc de filtre permettant une couverture uni-
forme des fréquences et des orientations. Le filtre de Gabor précédemment décrit permet
d’obtenir un banc de filtre de type rosace comme le montre la Figure 2.11.b. Dans cette
configuration, seules les fréquences correspondant à une direction privilégiée sont filtrées. Les
bandes passantes de fréquence B et d’orientation Ω à la moitié du pic sont données par :
ln FBF
π λσ απ λσ α
+=
−, (2.24)
et
12 tanFαΩ
π σ−= , (2.25)
avec
ln(2) / 2α = , (2.26)
comme décrit dans la Figure 2.12.
(a) (b)
Figure 2.11. Représentation des filtres de Gabor 2D pour θ = -45°, 0°, 45° et 90°, λ=1/2 et (a) φ = 0, (b) φ = θ, avec les réponses impulsionnelles complexes sur la gauche, et les réponses fréquentielles sur la droite.
Chapitre 2
- 56 -
Figure 2.12. Bande passante de fréquence B et d’orientation Ω à la moitié du pic.
La fonction de Gabor (2.22) possède une partie réelle et une partie imaginaire telles que :
( , ) ( ', ') cos(2 ')ch x y g x y Fxπ= et ( , ) ( ', ') sin(2 ')sh x y g x y Fxπ= (2.27)
Le résultat de la convolution par hc(x, y) et hs(x, y) est approximativement le même, à part une
différence de π/2 dans le spectre de phase dans la direction θ, car les deux fonctions sont ap-
proximativement en quadrature de phase. L’enveloppe gaussienne de h(x, y) peut être retrouvée
en calculant l’amplitude de h(x, y) comme l’indique la Figure 2.13. Le filtrage d’une image par
un filtre de Gabor 2D résulte en une image complexe, contenant seulement une bande de fré-
quence et d’orientation limitée. L’amplitude complexe de l’image filtrée est alors maximale dans
les régions dont les caractéristiques fréquentielles correspondent au filtre utilisé.
Figure 2.13. Composantes complexes du filtre de Gabor, et l'amplitude correspondante.
Partie réellePartie imaginaireAmplitude
u
B
Ω
F v
Problématique de la segmentation d’images appliquée à la détection de défauts
- 57 -
2.3.3.3. Transformée en ondelettes
L’analyse par ondelettes a été introduite en 1984 par Grossmann et Morlet [Grossmann et Morlet,
1984] pour la reconstruction de signaux sismiques appliquée à l’exploitation pétrolière. Il s'agis-
sait de donner une représentation des signaux permettant de faire apparaître simultanément des
informations temporelles (localisation dans le temps, durée) et fréquentielles, facilitant l'identifi-
cation des caractéristiques physiques de la source du signal. Cet outil puissant a ensuite été repris
et développé, tant du point de vue pratique que du point de vue théorique [Mallat, 1989; Murenzi,
1990; Cohen, Daubechies et al., 1992; Daubechies, 1992; Meyer, 1992] pour aboutir à la théorie
de l'analyse par ondelettes telle qu'elle existe aujourd'hui.
Les ondelettes sont une famille de fonctions, déduites d’une même fonction appelée ondelette
mère par des opérations de translation, et de dilatation (la rotation, introduite pour les dimensions
supérieures à 1, permet à l'aide de l'ondelette complexe de Morlet, une sélectivité directionnelle
[Antoine, Vandergheynst et al., 1996]). La décomposition en ondelettes est similaire à la
décomposition de Gabor: un signal s'écrit sous la forme d'une superposition d’ondelettes décalées
et dilatées. Les poids de ces ondelettes dans la décomposition, appelés les coefficients d'ondelet-
tes, forment la transformée en ondelettes, qui est donc une fonction de deux variables: le temps et
l'échelle.
2.3.3.3.1. Définition d’une ondelette
Soit Ψ une fonction non nulle de 2 ( )nL , Ψ est admissible si elle vérifie la condition générale :
Ψ(0) Ψ( ) 0nx d x+∞
−∞= =∫ (2.28)
Ψ étant la transformée de Fourier de Ψ, et n la dimension de l’espace, les dimensions les plus
courantes étant la dimension 1 pour les signaux sonores et de télécommunication, et la dimension
2 pour l’imagerie. Cette condition assez large impose que l’ondelette présente des oscillations (et
ressemble donc à une onde), et que son énergie soit nécessairement concentrée vers les hautes
fréquences. Si la fonction Ψ est admissible, elle est appelée ondelette analysante ou ondelette
mère. A partir d’une ondelette mère, une famille d’ondelettes Ψa,b est créée par opérations de di-
latation (ou contraction) et de translation telles que :
,1 ( )Ψ ( ) Ψa b
t btaa−⎛ ⎞= ⎜ ⎟
⎝ ⎠ (2.29)
Chapitre 2
- 58 -
où a est le facteur d’échelle et b le paramètre de translation. Le facteur d’échelle est lié à la fré-
quence : pour a > 1, l’ondelette est plus étalée et correspond à une fréquence plus faible, alors
que pour a < 1, l’ondelette est plus étroite et correspond à une fréquence plus élevée (Figure
2.14). Le facteur de normalisation 1 a assure que l’énergie reste la même pour tout a, b :
2 2+ +
,Ψ ( ) Ψ( )a b t dt t dt∞ ∞
−∞ −∞=∫ ∫ (2.30)
(a) Ondelette mère (b) Ondelette fille, a > 1 (c) Ondelette fille, a < 1
(d) TF de l’ondelette mère (e) TF, a > 1 (f) TF, a < 1
Figure 2.14. Influence du facteur d'échelle sur la représentation temporelle et fréquentielle des ondelettes
Dans le cas unidimensionnel, la transformée en ondelette (TO) de la fonction f(t) est alors définie
comme le produit scalaire entre l’ondelette Ψa,b et la fonction f(t) tel que :
a,b1 ( )( , ) = ,Ψ ( )Ψ t bf a b f f t dt
aa+∞
−∞
−⎛ ⎞= ⎜ ⎟⎝ ⎠∫W (2.31)
La transformée en ondelette continue est obtenue en balayant le facteur d’échelle a de manière
continue sur +∗ et le pas de translation b sur . Cette transformation est très redondante, et
nécessite beaucoup de calculs. Il est donc généralement désirable, suivant l’application,
d’optimiser la discrétisation de la variation des paramètres a, et b afin de limiter, voir annuler la
redondance et accélérer le calcul.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 59 -
2.3.3.3.2. Transformée discrète
Parmi les méthodes de discrétisation de la famille (Ψa,b)a,b∈R en une sous famille (Ψaj,bk)aj,bk ∈R,
deux algorithmes aux propriétés différentes sont présentés, l’analyse multi-résolution [Mallat,
1989] et l’algorithme à trous [Dutilleux, 1987; Bijaoui, Starck et al., 1994]. Une étude approfon-
die de ces deux algorithmes est disponible dans [Rioul et Duhamel, 1992; Shensa, 1992;
Bournbay, 1997].
2.3.3.3.2.1. Analyse multi-résolution
Pour l’analyse multi-résolution, la discrétisation dyadique est effectuée selon 2 jja = , 2 j
kb k= ,
,j k ∈ , ce qui mène a l’écriture de la TO suivante :
1(2 ,2 k) = Ψ ( )22
j jjj
tf k f t dt⎛ ⎞−⎜ ⎟⎝ ⎠∫W (2.32)
C’est une écriture qui conduit à un algorithme rapide de calcul des coefficients d’ondelettes in-
troduit par Mallat [Mallat, 1989] pour l’analyse multi-résolution. La TO obtenue n’est pas redon-
tante, ce qui cible ses applications à la compression du signal.
Une analyse multi-résolution est basée sur l’approximation d’une fonction sur une famille (Vj)j∈
d’espaces emboîtés où Vj représente l’espace dans lequel est approximée la fonction à la résolu-
tion 2-j. On désigne par Oj l’espace dans lequel on trouve le détail perdu entre la résolution 2-( j-1)
et la résolution 2-j.
1 j 1 et Oj j j jV V V V− −⊂ ⊕ = (2.33)
En dimension 1, chaque espace Vj est représenté par la fonction d’échelle Φ, (Φj,k)k∈ étant une
base de Vj , et chaque espace Oj est représenté par l’ondelette Ψ, (Ψj,k)k∈ étant une base de Oj.
Ceci permet d’exprimer les coefficients d’approximation jkc de la fonction f dans Vj, ainsi que les
coefficients de détail jkd dans Oj :
,
,
,Φ
,Ψ
jk j k
jk j k
c f
d f
=
= (2.34)
Le point clé est fourni par la décomposition de jkc en fonction de 1j
kc − . Pour cela, il faut exprimer
Φj,k dans la base de Φj-1,k, ce qui permet de définir la suite numérique h[n] vérifiant :
, 1,Φ [2 ]Φj k j kn
h n k −= −∑ (2.35)
Chapitre 2
- 60 -
h est la réponse impulsionnelle d’un filtre H passe bas, et h son filtre miroir associé, c'est-à-dire
[ ] [ ]h n h n= − . On peut alors écrire :
-1[2 ]j jk n
n
c h n k c= −∑ (2.36)
De même, en exprimant Ψj,k dans la base de Φj-1,k, et en utilisant le filtre G passe haut de réponse
impulsionnelle g, on obtient : -1[2 ]j j
k nn
d g n k c= −∑ (2.37)
Les équations (2.36) et (2.37) montrent que les coefficients d’ondelette peuvent être calculés en
fonction des différentes approximations suivant le schéma présenté Figure 2.15.
Figure 2.15. Schéma de calcul des coefficients d'approximation (ronds) et de détail (carrés) pour l'analyse multi-
résolution
Si les bases d’ondelettes et celles de la fonction d’échelle sont orthonormales, la transformée est
non redondante ce qui permet de compresser le signal sans pertes en assurant une reconstruction
parfaite. L’opération de décimation entraîne une non invariance en translation de la transformée.
En effet, un signal et le même signal décalé d’un entier n’auront pas la même réponse à la même
échelle, ce qui ne permet pas l’analyse fréquentielle du signal.
1jkc −
jkc
1jkc +
jkd
1jkd +
h ~ g ~
h ~ g ~
Problématique de la segmentation d’images appliquée à la détection de défauts
- 61 -
Figure 2.16. Décomposition d'une image, avec l’approximation jc , et les détails horizontaux j
hd , verticaux jvd et
diagonaux jdd .
L’extension à la dimension 2 se fait de manière naturelle en appliquant l’algorithme unidimen-
sionnel successivement sur les lignes et les colonnes pour chaque type de coefficients comme le
montre la Figure 2.16. Plus de détails sur ce type d’algorithme sont disponible dans [Truchetet,
1998].
2.3.3.3.2.2 Algorithme à trous
La discrétisation par l’algorithme à trous [Bijaoui, Starck et al., 1994] est effectuée selon
2 , , ,jj ka b k j k= = ∈ , ce qui mène à l’écriture de la TO suivante :
1(2 ,k) = Ψ ( )22
jjj
t kf f t dt−⎛ ⎞⎜ ⎟⎝ ⎠∫W . (2.38)
C’est une écriture qui conduit également à un algorithme rapide de calcul des coefficients
d’ondelettes. Cet algorithme est moins contraignant car les familles d’ondelettes ne sont pas or-
thogonales. La transformation ne présente pas de phase décimation, ce qui la rend invariante en
translation, mais apporte en revanche une certaine redondance.
La phase de décimation est remplacée par un traitement séparé des coefficients pairs et impairs à
chaque étape. Ceci permet d’exprimer les coefficients d’approximation jks à la résolution 2-j, et
les coefficients d’ondelette correspondants jkw . Tout comme l’algorithme multi-résolution,
l’algorithme à trous nécessite deux filtres respectivement passe haut et passe bas, de réponse im-
pulsionnelle h et g :
h 2↓ h 2↓
g 2↓
2↓ h 2↓
g 2↓
g
Lignes Colonnes
1jnc − jc
jhd
jvd
jdd
Chapitre 2
- 62 -
11
2
2
[ ]
[ ]
j
j
j jk n k
nj j
k n kn
s h n s
w g n s
−−
+
+
=
=
∑
∑ (2.39)
Il en découle que si 2k p= est pair, alors 2jpw est fonction des termes pairs de js , et si
2 1k p= + est impair, 2 1jpw + est fonction des termes impairs de js . Il faut donc appliquer h à cha-
que étape sur les termes pairs d’une part, et sur les termes impairs d’autre part, de la série précé-
demment calculée, puis appliquer g de la même manière. Pratiquement, cette opération est ef-
fectuée en insérant des zéros entre les coefficients des filtres entre chaque niveau de décompo-
sition (Figure 2.17).
Figure 2.17. Schéma de calcul des coefficients d'approximation (ronds) et de détail (carrés) pour l'algorithme à trous
Les coefficients calculés par cette méthode incluent ceux calculés pour l’analyse multi-résolu-
tion. Dans le cas où les bases d’ondelettes et de la fonction d’échelle sont orthonormales, il est
alors possible d’exprimer cette relation telle que :
2
21 2
2
(n,j)
(n,j)
j
j
j jk kj j
k k
c s
d w −
= ∀ ∈
= ∀ ∈ (2.40)
Cet algorithme peut être vu comme un entrelacement de coefficients calculés par l’algorithme
multi-résolution. C'est cette redondance d’information qui crée l’invariance en translation indis-
pensable pour l’analyse de signaux, ou la segmentation d’image. Il n’est pas requis d’avoir une
base orthogonale comme c'est le cas pour l’analyse multi-résolution, ce qui donne plus de sou-
plesse pour le choix des filtres. Il faut néanmoins répondre à des conditions de compacité et de
régularité de la fonction d’échelle et de l’ondelette, ce qui est le cas entre autre des ondelettes
1jks −
js
1jks +
1jkw +
h
g
h h
h
Problématique de la segmentation d’images appliquée à la détection de défauts
- 63 -
biorthogonales. L’extension à la dimension 2 se fait de la même manière que pour l’analyse
multi-résolution en appliquant l’algorithme unidimensionnel successivement sur les lignes et les
colonnes pour chaque type de coefficients.
2.3.4. Classifieurs
Les méthodes d’analyse de texture vues précédemment permettent de générer n vecteurs de pa-
ramètres x ( p∈x , p étant la dimension de l’espace des paramètres) pour chaque pixel de
l’image. Chaque vecteur contient des informations relatives aux attributs de texture de la région
entourant le pixel. La classification permet d’attribuer une classe y à chaque pixel en fonction de
ces paramètres. La classification peut généralement être décomposée en deux étapes distinctes.
Phase d’apprentissage
La première phase dite d’apprentissage durant laquelle une base de points d’apprentissage est
fournie au classifieur. Dans le cas de la classification non supervisée, aucune information n’est
disponible quand au nombre de classes distinctes présentes dans la base d’apprentissage fournie,
ou à l’appartenance des points d’apprentissage à une classe donnée. Le classifieur s’appuie alors
sur des méthodes de mesure d’homogénéité afin d’isoler les régions homogènes dans l’espace
des paramètres, et d’établir une loi permettant de classifier correctement de nouveaux points.
Dans le cas de la classification supervisée, la base d’apprentissage est parfaitement décrite, et
tous les points d’apprentissage ont été classés par un expert, celui-ci étant capable d’affecter une
classe à chaque point sans ambiguïté. Le classifieur utilise alors ces informations pour établir la
loi de décision.
La loi de décision est établie en fonction des lois de distribution dans le cas d’une classification
paramétrique, c'est-à-dire que les formes des distributions de chaque classe sont connues a priori,
et modélisées en fonctions des points de la base d’apprentissage. Cette opération permet
d’extraire leurs paramètres caractéristiques, et d’utiliser la loi de Bayes dont le principe est de
classifier un point dans la classe la plus probable [Duda, Hart et al., 2001]. En règle générale, la
forme des distributions est inconnue, il faut alors utiliser une classification non paramétrique.
Deux approches sont alors envisageables. La première approche consiste à utiliser les points
d’apprentissage pour tenter d’approcher au mieux les distributions (Parzen, K plus proches voi-
sins…), puis à appliquer la loi de Bayes pour la classification. La deuxième approche consiste à
Chapitre 2
- 64 -
rechercher directement les frontières entre les différentes classes (Support Vector Machine
(SVM), polytopes de contraintes…). La loi de décision doit être suffisamment générale, afin
d’éviter un apprentissage par cœur, le but étant de pouvoir classifier correctement des points dont
les caractéristiques ne correspondent pas exactement aux caractéristiques des points
d’apprentissage.
Phase de décision
Une fois la loi de décision définie à partir des échantillons d’apprentissage, le classifieur affecte
une classe à chaque nouveau point de test. Cette phase est généralement critique en temps, car de
nombreux systèmes ont des impératifs de travail en temps réel. Il n’est pas rare d’écarter un clas-
sifieur très performant (faible taux de mauvaise classification), au détriment d’un classifieur
beaucoup plus rapide, mais moins performant.
Parmi les différents types de classifieurs, les classifieurs non paramétriques sont généralement
préférés pour la segmentation d’image, les densités distribution étant rarement connues a priori.
Plusieurs de ces méthodes sont présentées ci-après. Une description plus détaillée est disponible
dans [Michie, Spiegelhalter et al., 1994; Duda, Hart et al., 2001].
2.3.4.1. Les K plus proches voisins
Cette technique de classification non paramétrique est l’une des plus simples. L’idée de base
étant qu’un nouveau point de test a une très grande probabilité d’être situé dans les voisinages
des points de la même classe dans l’espace des paramètres. En effet, les points appartenant à la
même classe ont des caractéristiques proches, et sont donc situés dans un même voisinage dans
l’espace des paramètres. A partir d’un nouveau point de test, une métrique est utilisée pour trou-
ver ses k voisins les plus proches parmi les points d’apprentissage. La classe la plus représentée
parmi ces voisins les plus proches est choisie comme classe pour le nouveau point de test (Figure
2.18).
Problématique de la segmentation d’images appliquée à la détection de défauts
- 65 -
5 plus proches voisins
Figure 2.18. Classification du point de test dans la classe verte basée sur la classe de ses 5 plus proches voisins
Cette technique donne généralement de bons résultats, mais est assez lente, car sa complexité est
en O(n) (n étant le nombre de points d’apprentissage), ce qui exclue cette méthode des applica-
tions temps réel, et il est indispensable de conserver l’ensemble des points d’apprentissage, ce
qui peut nécessiter d’importantes quantités de mémoire. Plusieurs techniques d’optimisation ont
étés proposées, notamment [Fukunaga et Narendra, 1975] où l’espace des paramètres est découpé
en régions organisées de manière hiérarchique pour limiter l’exploration aux régions susceptibles
de contenir des plus proches voisins. [Hart, 1968; Gates, 1972; Hand et Batchelor, 1978] rédui-
sent la base d’apprentissage en ne retenant que les points significatifs permettant de classifier
correctement les point écartés. Le choix de k peut être effectué à l’aide d’une validation croisée
dans laquelle une partie des données de la base d’apprentissage sert à entraîner le classifieur,
alors que la deuxième partie sert de base de test pour évaluer les performances du classifieur.
2.3.4.2. Parzen
La fenêtre de Parzen permet d’estimer la densité de point pour chaque classe dans l’espace des
paramètres [Duda, Hart et al., 2001], et de classifier un point test avec la loi de Bayes.
L’estimation de la densité est effectuée à l’aide d’une fenêtre de volume Vn, centrée sur chaque
point d’apprentissage. Soit kn le nombre de points d’apprentissage englobés par cette fenêtre. La
densité est alors estimée par :
/( ) nn
n
k np xV
= (2.41)
Dans le cas de la fenêtre de Parzen, le volume Vn est fixé comme étant une fonction de n, tel
que 1/nV n= pour garantir la convergence de l’estimateur, alors qu’avec une estimation basée
Chapitre 2
- 66 -
sur les k plus proches voisins, c'est kn qui est fixé comme étant une fonction de n tel que
nk n= .
Si un très grand nombre d’échantillons d’apprentissage est fourni, cette méthode assure une
convergence vers la densité de point réelle sans connaissances a priori sur la forme des distribu-
tions. Le nombre d’échantillons d’apprentissage nécessaires à une bonne convergence augmente
de manière exponentielle avec la dimension de l’espace des paramètres, ce qui demande une très
grande puissance de calcul, et beaucoup d’espace de stockage.
2.3.4.3. Les SVMs
Les SVMs, tels qu’ils ont été introduits par Vapnik [Vapnik, 1995; Vapnik, 1998], recherchent
un hyperplan séparant au mieux une base d’apprentissage contenant deux classes distinctes en
maximisant l’écart entre ces deux classes.
Si l’on considère les points d’apprentissage (yi, xi), avec et 1pi iy∈ = ±x , il existe un hyper-
plan H qui permet de les séparer. Cet hyperplan est défini par l’équation :
0b+ =iw x (2.42)
avec w la normale au plan et /b w la distance du plan à l’origine. Comme l’hyperplan sépare
l’espace en deux, il en découle que :
1 si 11 si 1
i
i
b yb y
+ ≥ + = +⎧⎨ + ≤ − = −⎩
ii
w xw x
(2.43)
ou bien encore: ( ) 1iy b+ ≥i iw x (2.44)
Les vecteurs particuliers qui satisfont ces équations sont appelés les vecteurs de support (Figure
2.19). Ce sont les points les plus proches de H, et les plus difficiles à classer. Ils sont définis tels
que :
0 1 pour 1ib y+ = ± = ±i0 iw x (2.45)
Problématique de la segmentation d’images appliquée à la détection de défauts
- 67 -
H+1H-1
w
Marge de séparation
Vecteurs de support
Hyperplan optimal
Figure 2.19. Hyperplan optimal séparant la classe +1 (points rouges) de la classe -1 (points verts)
La distance d d’un vecteur de support à l’hyperplan H est donnée par :
1 pour 1id y±= = ±
0w (2.46)
ce qui correspond à une marge entre les deux classes de 2 / 0w . Ainsi, pour maximiser la marge
entre les 2 classes, il convient de minimiser 20w sous la contrainte (2.44). La résolution de ce
problème s’effectue à l’aide des multiplicateurs de Lagrange αi, soit :
[ ]2
fonction contraintesà minimiser
( , , ) ( ) 12 i i
i
J b y bα α= − + −∑ i iw
w w x (2.47)
ce qui permet de déterminer 0w tel que :
1
Ns
k kk
yα=
= ∑0 kw s (2.48)
avec Ns le nombre de vecteur de support sk, d’étiquettes yk. Une fois la phase d’apprentissage
terminée, la phase de décision s’effectue à l’aide de la fonction de décision :
1
SigneNs
k kk
y y bα=
⎛ ⎞= +⎜ ⎟
⎝ ⎠∑ iks x (2.49)
y étant la classe prédite par le classifieur pour le vecteur de test x.
Dans le cas où il existe un recouvrement entre les deux classes, elles ne sont pas linéairement sé-
parables, et il n’existe pas d’hyperplan H permettant de séparer tous les points de la base
d’apprentissage. Une variable de coût ξi est alors introduite pour chaque point de la base
Chapitre 2
- 68 -
d’apprentissage. Cette constante représente le coût d’une mauvaise classification, et ajoute de
nouvelles contraintes à l’équation (2.47) qui devient :
[ ]2
contraintes initiales contraintes sur fonction à minimiser
( , , , , ) ( ) 12 i i i i i i
i i i
J b C y b
ξ
ξ α β ξ α ξ β ξ= + − + − + −∑ ∑ ∑i iw
w w x , (2.50)
Sous condition que :
0 et 0 i i iiC yα α≤ ≤ =∑ (2.51)
αi et βi étant les multiplicateurs de Lagrange, et C la fonction de coût de mauvaise classification.
Plus celle-ci est importante, et plus l’algorithme tient compte des points mal classés.
Ce problème peut être contourné en projetant les vecteurs dans un espace de dimension supé-
rieure, car les points qui ne sont pas séparables linéairement peuvent le devenir dans une dimen-
sion supérieure. Soit la fonction Φ : p h qui projette un vecteur x de dimension p en un
vecteur Φ(x) de dimension h (h > p). Pour rechercher l’hyperplan optimal de séparation, il suffit
de remplacer le produit scalaire ks xi de l’équation (2.49) par le produit scalaire ( ) ( )Φ Φks xi .
S’il existe une fonction ( ) ( ) ( ), Φ ΦK =k ks x s xi , il n’est alors pas nécessaire de connaître Φ
explicitement, seule la fonction noyau K est utilisée. La fonction de décision (2.49) devient
alors :
( )1
SigneNs
k kk
y y K bα=
⎛ ⎞= +⎜ ⎟
⎝ ⎠∑ ks xi (2.52)
Il est important de noter que toute fonction K ne peut-être utilisée comme fonction noyau, celle-
ci devant répondre au critère de Mercer’s [Vapnik, 1998]. Les fonctions noyaux les plus
fréquemment utilisées sont :
( )( ) ( )( ) ( )( ) ( )( )
2
Linéaire : ,
Polynomial : ,
RBF : , exp
Tangente hyperbolique : , Tanh
q
K
K c
K
K k
γ
θ
=
= +
= − −
= −
k k
k k
k k
k k
s x s x
s x s x
s x s x
s x s x
i
i
i
(2.53)
Il convient de fixer les variables de manière appropriée pour chaque type de fonction noyau. La
décision s’effectue simplement par une somme de produits scalaires, avec une complexité qui
augmente avec le nombre de vecteurs de support, et leur dimension. Dans le cas où le nombre de
Problématique de la segmentation d’images appliquée à la détection de défauts
- 69 -
classes est supérieur à deux, la complexité algorithmique devient beaucoup plus importante, et il
est souvent préférable de décomposer le problème en plusieurs problèmes à deux classes, un
système de vote permettant d’effectuer la classification.
2.3.4.4. Les polytopes de contraintes
Les polytopes de contraintes permettent d’effectuer un découpage de l’espace des paramètres en
hypercubes à l’aide des points d’apprentissages [Miteran, Gorria et al., 1994]. Ces hypercubes
sont ensuite fusionnés afin d’en réduire le nombre et augmenter la rapidité du traitement.
Un hypercube est créé autour de chaque point d’apprentissage de manière à ne pas inclure de
points ou d’hypercubes de classe opposée. Pour chaque point d’apprentissage, les frontières sont
définies en utilisant la distance du max, celle-ci permettant d’obtenir des frontières parallèles aux
axes de l’espace des paramètres, ce qui autorise une décision rapide, facilement parallélisable qui
peut être implantée aussi bien sur support logiciel que matériel. Considérant deux vecteurs x, et v
de dimension p, la distance ( , )d∞ x v entre ces vecteurs est définie par :
1( , ) k p k kd max x v∞ ≤ ≤∞= − = −x v x v (2.54)
La distance du max implique la recherche des plus proches voisins dans les 2p cadrans
(dans un exemple à deux dimensions, les 4 cadrans sont situés à 45° des axes de l’espace des pa-
ramètres, comme le montre la Figure 2.20). Dans chacune des 2p directions, la distance d la plus
courte avec un point de classe différente permet de définir le plus proche voisin. Pour une direc-
tion donnée, cette distance d permet de définir la distance df entre le point et la frontière corres-
pondante, telle que :
fd d R= ⋅ (2.55)
avec
102
R< < (2.56)
La valeur de R permet de régler l’écart entre les hypercubes. Avec R proche de 0, l’écart est
maximal, et la fusion facilitée. Avec R proche de 0.5, l’écart est minimal, et la fusion devient
plus difficile. Une valeur de 0.5 permet de minimiser les zones qui ne sont couvertes par aucun
hypercube. Les relations (2.54), (2.55) et (2.56) sont nécessaires et suffisantes pour garantir qu’il
n’y a qu’une classe par hypercube, et que les hypercubes ne se chevauchent pas.
Chapitre 2
- 70 -
Frontière correspondant à la distance du max
ddf
Frontière définie pour R=0.4
Figure 2.20. Définition d’un l’hypercube autour d’un point d’apprentissage
Si aucun voisin n’est trouvé dans une direction, la règle établie dans [Miteran, Gorria et al.,
1994] est d’avoir un hypercube qui s’étend à l’infini dans cette direction. Cette approche n’est
pas entièrement satisfaisante, car elle crée une dissymétrie entre les classes. En effet, si l’on
considère l’exemple présenté Figure 2.21.a, la partie supérieure gauche de l’espace est occupée
par un hypercube de classe y1, car il n’existe pas de point de classe y2 pour le borner dans cette
direction. En revanche, si un point de classe y2 est ajouté de manière à borner l’hypercube dans
cette direction, la partie supérieure gauche de l’espace est alors occupée par un hypercube de
classe y2. L’ajout d’un seul point peut alors modifier considérablement le découpage de l’espace,
et donner plus de poids à l’une ou l’autre classe. Le fait qu’un point n’ait aucun voisin dans une
direction donnée, n’est pas suffisant pour laisser l’hypercube s’étendre à l’infini dans cette direc-
tion, car l’information disponible n’est pas suffisante pour attribuer une classe à la partie supé-
rieure gauche de l’espace. Nous avons donc introduit une approche permettant de conserver le
caractère local de la contrainte apportée par chaque point, en bornant les hypercubes. Si aucun
voisin n’est trouvé dans une direction donnée, c'est alors la distance utilisée dans la direction op-
posée qui est utilisée, ou dans le cas où elle n’est pas définie non plus, c’est la plus petite des di-
mensions toute direction confondue qui est utilisée. La Figure 2.22 illustre cette opération sur
l’exemple étudié précédemment. L’ajout d’un nouveau point Figure 2.22.b modifie très peu le
découpage de l’espace.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 71 -
1
2
: y1 : y2
1
23
: y1 : y2
(a) (b)
Figure 2.21. Création des hypercubes avec des frontières à l’infini pour 2 cas de figures
1
2
: y1 : y2
1
23
: y1 : y2
(a) (b)
Figure 2.22. Création des hypercubes avec des frontières bornées pour 2 cas de figures
Dès lors, les hypercubes sont complètement définis, et ne saturent pas l’espace des paramètres
(Figure 2.23). L’étape de fusion peut alors être effectuée entre les hypercubes de la même classe.
La fusion est effectuée si et seulement si le nouvel hypercube obtenu ne chevauche aucun hyper-
cube de classe différente [Ichino, 1979], ce qui permet de réduire de manière considérable le
nombre d’hypercubes à gérer (Figure 2.24).
La phase de décision consiste à attribuer une classe à chaque vecteur de test en comparant ses
coordonnées avec les frontières des hypercubes afin de déterminer celui auquel il appartient. Le
nouveau point est associé à la classe de l’hypercube auquel il appartient. L’orthogonalité des
frontières autorise un traitement simultané de tous les paramètres. Il se peut qu’un point
n’appartienne à aucun hypercube, car certaines parties de l’espace des paramètres ne sont asso-
Chapitre 2
- 72 -
ciées à aucune classe. Le pourcentage de ces points est généralement faible, de l’ordre de 1 à 2%,
car la plupart des points ont des caractéristiques proches des points de la base d’apprentissage. La
distance Euclidienne la plus courte avec les centres de classes est utilisée pour classifier ces
points.
: y1 : y2
Figure 2.23. Création des hypercubes autour des points d’apprentissage
: y1 : y2
Figure 2.24. Fusion des hypercubes afin d’en réduire le nombre et accélérer la phase de décision
L’avantage principal des polytopes de contraintes est une décision rapide, et facilement paralléli-
sable qui peut être implantée aussi bien sur support logiciel que matériel [Miteran, Gorria et al.,
1994].
Problématique de la segmentation d’images appliquée à la détection de défauts
- 73 -
2.4. Conclusion
La binarisation des images de différences, générées lors de la comparaison de deux images pro-
venant de deux circuits voisins, est nécessaire pour identifier les zones défectueuses, et construire
la carte des défauts. Le seuillage doit permettre d’extraire cette information en maximisant le
nombre de défauts détectés, tout en minimisant le nombre de fausses alarmes. Le niveau de bruit
est fortement affecté par les différentes structures, et les types de matériaux, créant un niveau de
bruit non uniforme dans l’image de différence. Dès lors, un seuillage global ne permet pas de
trouver les défauts à l’intérieur des zones faiblement bruitées sans générer un grand nombre de
fausses détections dans les zones fortement bruitées. Le seuillage basé sur les variations tempo-
relles des statistiques du niveau de gris n’est pas envisageable à cause des limitations technologi-
ques. Le seuillage local dans une fenêtre glissante est handicapé par une taille de fenêtre fixe, qui
ne peut pas s’adapter à la taille du défaut : une fenêtre de taille trop grande ne permettant pas de
trouver les défauts situés à proximité d’une zone fortement bruitée, celle-ci modifiant les statisti-
ques locale du bruit, et une taille de fenêtre trop petite ne permettant pas de trouver les défauts de
grande taille. Il est donc indispensable de séparer les différentes régions en fonction du bruit
qu'elles génèrent dans l’image de différence, et de leur tolérance face aux défauts. La segmenta-
tion discrimine les régions de l’image, ce qui permet d’appliquer un seuil optimal pour chacune
d’entre elles, et ainsi maximiser le nombre de défauts trouvés tout en minimisant le nombre de
fausses détections. La segmentation d’image reste un problème ouvert, avec un grand nombre de
méthodes, ayant chacune leurs atouts et leurs défauts. Plusieurs approches peuvent être considé-
rées pour le travail de segmentation, mais l’analyse de texture est la plus adaptée au problème de
la détection de défauts sur semi-conducteurs. Parmi les outils d’analyse de texture, les méthodes
d’analyse spatio-fréquentielle, avec notamment la transformée en ondelettes et les filtres de
Gabor, permettent d’étudier la fréquence comme un phénomène local, sans restriction sur la fi-
nesse de la texture, et rechercher ces fréquences dans des directions privilégiées. Ces propriétés
rendent les méthodes d’analyse spatio-fréquentielle adaptées aux motifs répétitifs d’orientations
horizontales et verticales des structures de semi-conducteurs. Les paramètres générés par ces
méthodes peuvent ensuite être utilisés dans un classifieur paramétrique, tel que les SVM ou les
polytopes de contraintes, ces derniers attribuant une classe à chaque pixel en fonction de ses pa-
ramètres de texture.
Chapitre 2
- 74 -
2.5. Bibliographie
Antoine J., Vandergheynst P., et al. (1996). "Two-dimensional directional wavelets in image processing". International Journal on
Imaging Systems and Technology. Vol. 7, pp. 152-165. Bijaoui A., Starck J., et al. (1994). "Restauration des images multi-échelles par l'algorithme à trous". Traitement du signal.
Vol. 11(3), pp. 229-243. Bournbay E. (1997). "Analyse d'images par transformées en ondelettes. Application aux images sismiques",
Thèse de doctorat, Université Joseph Fourier. Bovik A. C., Clark M., et al. (1990). "Multichannel texture analysis using localized spatial filters". IEEE Transactions on Pat-
tern Analysis and Machine Intelligence. Vol. 12(1), pp. 55-73. Bracewell R. N. (2000). "The Fourier transform and its applications". Boston, McGraw Hill. Brigham E. O. (1988). "The fast Fourier transform and its applications". Englewood Cliffs, N.J., Prentice Hall. Campbell F. W. and Robson J. G. (1968). "Application of Fourier analysis to the visibility of gratings". Journal of Physiology. Vol.
197, pp. 551-566. Chakraborty A. and Duncan J. S. (1999). "Game-theoric integration for image segmentation". IEEE Transactions on Pattern
Analysis and Machine Intelligence. Vol. 21(1), pp. 12-30. Chu C. C. and Aggarwal J. K. (1993). "The integration of image segmentation maps using region and edge information". IEEE
Transactions on Pattern Analysis and Machine Intelligence. Vol. 15(12), pp. 1241-1252. Clark M. and Bovik A. C. (1989). "Experiments in segmenting textons patterns using localized spatial filters". Pattern Reco-
gnition. Vol. 22(6), pp. 707-717. Cocquerez J.-P. and Philipp S. (1995). "Analyse d'images : Filtrage et segmentation". Paris, Masson. Cohen A., Daubechies I., et al. (1992). "Bi-orthogonal bases of compactly supported wavelets". Communication of Pure and Ap-
plied Mathematics. Vol. 45, pp. 485-560.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 75 -
Cohen F. S. and Cooper D. B. (1987). "Simple parallel hierarchical and relaxation algorithms for segmenting noncausal mark-
ovian random fields". IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 9(2), pp. 195-219.
Daubechies I. (1992). "Ten lectures on wavelets". Philadelphia, Pa., Society for Industrial and Applied
Mathematics. Daugman J. G. (1985). "Uncertainty relation for resolution in space, spatial frequency, and orientation opti-
mized by two-dimensional visual cortical filters". Optical Society of America. Vol. 2(7), pp. 1160-1169.
Davis L. S., Clearman M., et al. (1981). "An empirical evaluation of generalised cooccurrence matrices". IEEE Transactions on
Pattern Analysis and Machine Intelligence. Vol. 3(2), pp. 214-221. Davis L. S., Johns S. A., et al. (1979). "Texture analysis using generalised cooccurrence matrices". IEEE Transactions on Pat-
tern Analysis and Machine Intelligence. Vol. 1(3), pp. 251-259. Duda R. O., Hart P. E., et al. (2001). "Pattern classification". New York, Wiley. Dunn D. and Higgins W. E. (1995). "Optimal Gabor filters for texture segmentation". IEEE Transactions on Image Process-
ing. Vol. 4(7), pp. 947-964. Dunn D., Higgins W. E., et al. (1994). "Texture segmentation using 2D Gabor elementary functions". IEEE Transactions on Pat-
tern Analysis and Machine Intelligence. Vol. 16(2), pp. 130-149. Dutilleux P. (1987). "An implementation of the "algorithme à trous" to compute the wavelet transform".
Wavelets: Time-Frequency Methods and Phase Space. J. M. Combes, A. Grossman and P. Tchamitchian, Springer-Verlag.
Farrokhnia F. and Jain A. K. (1991). "A multi-channel filtering approach to texture segmentation". IEEE Conference on Com-
puter Vision and Pattern Recognition, pp. 364-370, Maui, Hawaii. Ferrell R. K., Gleason S. S., et al. (2003). "Application of fractal encoding techniques for image segmentation". 6th international
conference on Quality Control by Artificial Vision, SPIE. Vol. 5132, pp. 69-77, Gatlinburg, TN.
Fogel I. and Sagi D. (1989). "Gabor filters as texture discriminator". Biological Cybernetics. Vol. 61, pp. 103-113.
Chapitre 2
- 76 -
Fu K. S. (1982). "Syntactic pattern recognition and applications". New Jersey, Prentice-Hall. Fu K. S. and Mui J. K. (1981). "A survey on image segmentation". Pattern Recognition. Vol. 13(1), pp. 3-16. Fukunaga K. and Narendra P. M. (1975). "A branch and bound algorithm for computing k-nearest neighbours". IEEE Transactions
on Computers. Vol. 24(7), pp. 750-753. Gabor D. (1946). "Theory of communication". J. Inst. Elec. Eng (London). Vol. 93, Part III(26), pp. 429-
457. Gates G. W. (1972). "The reduced nearest neighbour rule". IEEE Transactions on Information Theory. Vol.
18, pp. 431-433. Georgeson M. A. (1979). "Spatial Fourier analysis and human vision". Tutorial Essays in Psychology, A Guide to
Recent Advances. N. S. Sutherland. Hillsdale, N.J., Lawrence Earlbaum Associates. Vol. 2.
Germond L., Dojat M., et al. (2000). "Trois principes de coopération pour la segmentation en IRM". Proc. of Colloque Recon-
naissance de Formes et Intelligence Artificielle. Vol. 2, pp. 69-78, Paris. Grossmann A. and Morlet J. (1984). "Decomposition of Hardy functions into square integrable wavelets of constant shape".
SIAM Journal of Mathematical Analysis. Vol. 15(4), pp. 723-736. Hand D. J. and Batchelor B. G. (1978). "Experiments on the edited condensed nearest neighbour rule". Information Sciences.
Vol. 14, pp. 171–180. Haralick R. M. (1979). "Statistical and structural approaches to texture". Proceedings of the IEEE. Vol. 67(5),
pp. 768-804. Haralick R. M. (1983). "Image segmentation survey". Fundamentals in Computer Vision. Faugeras. Cambridge,
Cambridge University Press, pp. 209-224. Haralick R. M., Shanmugam K., et al. (1973). "Textural features for image classification". IEEE Transactions on Systems, Man and Cy-
bernetics. Vol. 3(6), pp. 610-621.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 77 -
Haralick R. M. and Shapiro L. G. (1985). "Survey: image segmentation techniques". Computer Vision Graphics and Image Process-
ing. Vol. 29, pp. 100-132. Hart P. E. (1968). "The condensed nearest neighbour rule". IEEE Transactions on Information Theory. Vol.
14(3), pp. 515–516. Ichino M. (1979). "A non-parametric multiclass pattern classifier". IEEE Transactions on Systems, Man
and Cybernetics. Vol. 9(6), pp. 345-352. Jain A. K. and Farrokhnia F. (1991). "Unsupervised texture segmentation using Gabor filters". Pattern Recognition. Vol.
24(12), pp. 1167-1186. Kamel M. and Zhao A. (1993). "Extraction of binary character/graphics images from grayscale document images".
Graphical Models and Image Processing. Vol. 55(3), pp. 203–217. Karu K., Jain A., et al. (1996). "Is there any texture in the Image?" Pattern Recognition. Vol. 29(9), pp. 1437-1446. Keller J. M., Chen S., et al. (1989). "Texture description and segmentation through fractal geometry". Computer Vision,
Graphics, and Image Processing. Vol. 45(2), pp. 150-166. Laws K. I. (1980). "Textured image segmentation", PhD, University of Southern California. Li Z. and Atick J. J. (1994). "Towards a theory of the striate cortex". Neural Computation. Vol. 6(1), pp. 127-146. Lucchese L. and Mitra S. K. (2001). "Color image segmentation: A state-of-the-art survey". Proc. of the Indian National Sci-
ence Academy (INSA-A). Vol. 67-A(2), pp. 207-221. Malik J. and Perona P. (1990). "Preattentive texture discrimination with early vision mechanisms". Journal of the Optical
Society of America, Series A. Vol. 7, pp. 923-932. Mallat S. (1989). "A theory for multiresolution signal decomposition: The wavelet representation". IEEE
Transactions on Pattern Analysis and Machine Intelligence. Vol. 11(7), pp. 674-693. Mandelbrot B. B. (1983). "The fractal geometry of nature". San Francisco, Freeman.
Chapitre 2
- 78 -
Materka A. and Strzelecki M. (1998). "Texture Analysis Methods - A review". Bruxelles, Technical University of Lodz, Institute
of Electronics. Meyer Y. (1992). "Wavelets and operators", Cambridge University Press. Michie D., Spiegelhalter D. J., et al. (1994). "Machine learning, neural and statistical classification". Hertfordshire, Ellis Horwood. Miteran J., Gorria P., et al. (1994). "Classification géométrique par polytopes de contraintes. Performances et intégration".
Traitement du Signal. Vol. 11(5), pp. 393-408. Murenzi R. (1990). "Ondelettes multidimensionnelles et applications à l'analyse d'images", Thèse de docto-
rat, Université catholique de Louvain. Niblack W. (1986). "An introduction to digital image processing". Englewood Cliffs, N.J., Prentice-Hall
International. Pal N. R. and Pal S. K. (1993). "A review on image segmentation techniques". Pattern Recognition. Vol. 26(9), pp. 1277-
1294. Pavlidis T. (1982). "Algorithms for graphics and image processing". Berlin, Springer. Rioul O. and Duhamel P. (1992). "Fast algorithms for discrete and continuous wavelet transform". IEEE Transactions on
Information Theory. Vol. 38(2), pp. 569-586. Sahoo P. K., Soltani S., et al. (1988). "A survey of thresholding techniques". Computer Vision, Graphics and Image Processing.
Vol. 41, pp. 233-260. Sezgin M. and Sankur B. (2004). "Survey over image thresholding techniques and quantitative performance evaluation".
Journal of Electronic Imaging. Vol. 13(1), pp. 146-165. Shensa M. J. (1992). "Wedding the à trous and Mallat algorithms". IEEE Transactions on Signal Processing.
Vol. 40(10), pp. 2464-2482. Singh S. and Bovis K. J. (2001). "Medical image segmentation in digital mammography". Advanced Algorithmic Ap-
proaches to Medical Image Segmentation. J. Suri, K. Setarehdan and S. Singh. London, Springer.
Problématique de la segmentation d’images appliquée à la détection de défauts
- 79 -
Super B. J. and Bovik A. C. (1991). "Localized measurement of image fractal dimension using Gabor filters". Journal of Vis-
ual Communication and Image Representation. Vol. 2(2), pp. 114-128. Thai B. and Healey G. (1999). "Spatial filter selection for illumination-invariant color texture discrimination". Com-
puter Vision and Pattern Recognition 1999, IEEE. Vol. 2, pp. 154-159, Fort Collins, Colorado, 23-25 Juin.
Therrien C. W. (1983). "An estimation-theoretic approach to terrain image segmentation". Computer Vision,
Graphics, and Image Processing. Vol. 22(3), pp. 313-326. Truchetet F. (1998). "Ondelettes pour le signal numérique". Paris. Tuceryan M. (1994). "Moment based texture segmentation". Pattern Recognition Letters. Vol. 15(7), pp. 659-
668. Tuceryan M. and Jain A. (1990). "Texture segmentation using Voronoi polygons". IEEE Transactions on Pattern Analysis
and Machine Intelligence. Vol. 12(2), pp. 211-216. Tuceryan M. and Jain A. K. (1998). "Texture analysis". The Handbook of Pattern Recognition and Computer Vision (2nd
Edition). C. H. Chen, L. F. Pau and P. S. P. Wang, World Scientific Publishing Co., pp. 207-248.
Unser M. and Eden M. (1990). "Nonlinear Operators for Improving Texture Segmentation Based on Features Extracted
by Spatial Filtering". IEEE Transactions on Systems, Man, and Cybernetics. Vol. 20, pp. 804-815.
Vapnik V. N. (1995). "The nature of statistical learning theory". New York, Springer Verlag. Vapnik V. N. (1998). "Statistical learning theory". New York. Voronoi G. (1908). "Nouvelles applications des paramètres continus à la théorie des formes quadratiques".
The Journal für die reine und angewandte Mathematik. Vol. 134, pp. 198-287. Voss R. (1986). "Random fractals: Characterization and measurement". Scaling Phenomena in Disor-
dered Systems. R. Pynn and A. Skjeltorp. New York, Plenum.
Chapitre 2
- 80 -
Walker R. F., Jackway P., et al. (1995). "Improving cooccurrence matrix feature discrimination". Proc. of DICTA’95, 3rd
International Conference on Digital Image Computing: Techniques and Applications, pp. 643-648, Brisbane, Australie, 6-8 Décembre.
Weldon T. P. and Higgins W. E. (1998). "An algorithm for designing multiple Gabor filters for segmenting multi-textured im-
ages". IEEE Int. Conf. on Image Processing, pp. 333-337, Chicago, IL, 4-7 Octobre. Weldon T. P., Higgins W. E., et al. (1996). "Efficient Gabor filter design for texture segmentation". Pattern Recognition. Vol. 29(12),
pp. 2005-2015. White J. M. and Rohrer G. D. (1983). "Image thresholding for optical character recognition and other applications requiring
character image extraction". IBM J. Res. Dev. Vol. 27(4), pp. 400-411. Young R. A. (1985). "The Gaussian derivative theory of spatial vision: analysis of cortical cell receptive field
weighting profiles", General Motors Research Report GMR 4920. Zucker S. W. (1976). "Toward a model of texture". Computer Graphics and Image Processing. Vol. 5(2), pp.
190-202.
Solutions proposées
- 81 -
Chapitre 3 Solutions proposées
Solutions proposées
3.1. Introduction
Le chapitre 3 est consacré à l’application des techniques de segmentation d’images décrites au
chapitre 2, au problème spécifique de la segmentation d’images provenant de semi-conducteurs.
Les variations de mise au point, d’illumination et les fluctuations de l’épaisseur des films influent
sur l’apparence des textures, et sur les paramètres qui en sont extraits par les outils d’analyse de
texture. La base d’apprentissage doit alors pouvoir représenter l’ensemble de ces variations pour
entraîner le classifieur de manière optimale. Or, les contraintes imposées par un milieu industriel
tel que celui du semi-conducteur rendent cette tâche difficile, l’opération de segmentation devant
intervenir sous une supervision humaine minimale. Il est donc essentiel d’estimer l’influence des
fluctuations sur les performances de la segmentation, lorsqu’une base d’apprentissage réduite est
utilisée, et d’évaluer différentes techniques pour en limiter la portée. La problématique liée à ce
type de variations est détaillée, et deux approches complémentaires sont étudiées, afin
d’améliorer l’invariance des paramètres, ainsi que l’immunité des classifieurs face aux variations
des paramètres.
3.2. Problématique liée aux non uniformités
Les variations d’illumination, de mise au point et d’épaisseur de film entraînent des fluctuations
locales de contraste et d’intensité, affectant l’aspect des différentes textures. Ces non uniformités
sont très difficiles à corriger. En prenant l’exemple des variations d’épaisseur de film, les varia-
tions de contraste induites sont des variations continues de très basse fréquence. La Figure 3.1
illustre ce phénomène avec une mosaïque composée de 225 images représentant la valeur de
l’écart type mesuré dans une fenêtre glissante de 17×17 pixels.
Chapitre 3
- 82 -
Figure 3.1. Mosaïque de 15×15 images montrant les variations de contrastes mises en évidence à l'aide d'une mesure
locale de l'écart type dans une fenêtre glissante
Cette mosaïque est composée d’une grille uniforme formée par les barres de logiques, avec à
l’intérieur de chaque “case” les zones de mémoire de type DRAM. Les trois classes rencontrées
sur le wafer étudié sont les suivantes :
• classe yd : zones de DRAM composées d’une texture fine et régulière (Figure 3.2.a).
• classe yl : zones de logique composées de plusieurs textures grossières et régulières
(Figure 3.2.b).
• classe ys : zones sans structures (Figure 3.2.c).
Solutions proposées
- 83 -
(a) (b) (c)
Figure 3.2. Exemples des trois types de texture à différencier avec (a) zone de DRAM de classe yd, (b) zone de logique de classe yl, (c) zone sans structure de classe ys.
Les zones de DRAM sont très affectées par les fluctuations d’épaisseur de film, et présentent des
disparités importantes de contraste. Les paramètres extraits par les outils d’analyse de texture
utilisant l’information de contraste de manière directe (matrices de co-occurrence) ou indirecte
(Gabor, ondelettes) sont alors fortement perturbés. Pour illustrer ce problème, la Figure 3.3.a pré-
sente un signal composé de deux sinusoïdes de fréquences respectives ω1 et ω2 (ω1 ≠ ω2), et la
Figure 3.3.b présente ce même signal filtré à l’aide d’un filtre de type Gabor centré sur ω1 qui
sépare efficacement les deux parties du signal. La Figure 3.4.a présente le même signal composé
de deux sinusoïdes de fréquences respectives ω1 et ω2 mais dont l’amplitude varie de manière
aléatoire. La Figure 3.4.b présente le signal filtré par le même filtre de Gabor centré sur ω1. Le
signal filtré est non seulement fonction de la fréquence du signal d’entrée, mais aussi de son am-
plitude (dans le cas d’un signal sinusoïdal sans composante continue), ou de son contraste dans le
cas plus général d’un signal de forme quelconque.
Chapitre 3
- 84 -
(a) (b)
Figure 3.3. Illustration du filtrage de deux sinusoïdes de fréquences différentes, avec (a) le signal d’entrée et (b) le signal filtré
(a) (b)
Figure 3.4. Illustration du filtrage de deux sinusoïdes de fréquences différentes et soumises à des variations de contraste, avec (a) le signal d’entrée et (b) le signal filtré
La séparation des deux signaux reste possible mais moins triviale qu’avec des signaux
d’amplitude constante. Ceci illustre bien que les fluctuations présentes dans le signal d’entrée se
retrouvent dans le signal filtré. Pour revenir au problème évoqué par la Figure 3.1, les variations
de contraste des textures créent des variations du même ordre sur les paramètres générés par
l’analyse fréquentielle.
L’approche usuelle en segmentation d’image supervisée consiste à collecter un très grand nom-
bre d’échantillons d’apprentissage afin de couvrir l’ensemble des variations de chaque texture, et
1000 2000 3000 4000 5000 6000 7000
2
2.5
3
3.5
4
4.5
5
5.5
Pixels
Amplitude
1000 2000 3000 4000 5000 6000 7000 0
1
2
3
4
5
6
7
8
Pixels
Amplitude
1000 2000 3000 4000 5000 6000 7000
-1.5
-1
-0.5
0
0.5
1
1.5
Pixels
Amplitude
0 1000 2000 3000 4000 5000 6000 7000
-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
Pixels
Amplitude
1.5
Solutions proposées
- 85 -
entraîner le classifieur de manière optimale : les classifieurs sont généralement définis de ma-
nière à éviter l’apprentissage “par cœur”, ce qui permet de classifier des points de test dont les
caractéristiques ne correspondent pas exactement à celles des points d’apprentissage, mais s’en
approchent suffisamment. En revanche, il n’existe aucune garantie quant à la bonne classification
des points dont les caractéristiques divergent fortement de celles des points d’apprentissage. En
effet, un classifieur ne peut pas effectuer une bonne classification s’il ne dispose pas d’un en-
semble d’échantillons d’apprentissage suffisamment représentatif des différentes variations de
chaque classe. Il est donc nécessaire d’évaluer les performances du classifieur après chaque ap-
prentissage afin d’en identifier les faiblesses, et les corriger en apportant des modifications. Ces
modifications peuvent intervenir à différents niveaux, comme indiqué sur la Figure 3.5 : ajout de
points d’apprentissage (provenant par exemple de zone mal classifiées), ajouts de paramètres (par
exemple plus discriminants ou plus invariants), ou choix d’un autre type de classifieur ou modifi-
cation de ses paramètres [Duda, Hart et al., 2001].
Sélection des points d’apprentissage
Sélection des paramètres
Connaissances a priori
Apprentissage du classifieur
Evaluation du classifieur
Sélection du classifieur
Début
Fin
Rétroactions
Figure 3.5. Cycle de caractérisation d’un système complet de classification
Cette approche est rédhibitoire lorsqu’il s’agit de définir un système complet de classification
dans un milieu industriel tel que celui du semi-conducteur. Ce milieu impose des cadences très
Chapitre 3
- 86 -
élevées, des produits avec des cycles de vie très courts ce qui implique des changements très ra-
pides, et une constante adaptation des outils de fabrication et d’inspection. Un wafer, tel que ce-
lui utilisé pour cette étude peut contenir plus de 500 circuits, chaque circuit représentant près de
5000 images de résolution 1024×1024 pixels avec le VAT, et 2048×2048 pixels avec le DAT.
C'est dans ce contexte que doit s’insérer notre système de segmentation d’images. Il n’est donc
pas envisageable de passer par un cycle complet de caractérisation pour chaque nouveau produit,
celui-ci étant coûteux en temps et en moyens humains pour superviser les résultats.
Cette étude consiste donc à réduire le cycle de caractérisation du système de segmentation afin de
présélectionner les paramètres optimaux pour ce type de segmentation et à minimiser l’effet des
différentes fluctuations sur les résultats de la segmentation. L’apprentissage ne sera effectué qu’à
l’aide d’un seul exemple de chaque texture à segmenter. Deux approches complémentaires ont
été étudiées afin de limiter l’impact de ces fluctuations :
• Optimisation des paramètres de texture
• Optimisation du classifieur
Ces deux approches sont décrites et détaillées.
3.3. Optimisation des paramètres de texture
La recherche des paramètres est une phase critique pour la segmentation d’image. Ces paramè-
tres doivent être non seulement insensibles aux différentes fluctuations, mais aussi suffisamment
discriminants pour permettre une séparation optimale des différentes textures. Le choix s’est
porté sur les outils d’analyse spatio-fréquentielle, ceux-ci étant largement utilisés pour l’analyse
de texture. Leurs propriétés à discriminer des bandes de fréquences dans des directions privilé-
giées sont parfaitement adaptées à l’analyse de texture provenant de semi-conducteurs, celles-ci
étant principalement composées de motifs répétitifs, orientés dans les directions horizontales et
verticales.
Dans le cas de la segmentation d’images de semi-conducteurs provenant de l’holographie, il faut
aussi tenir compte de la nature des images, celles-ci étant complexes, c'est-à-dire composées
d’une image de phase et d’une image d’amplitude, ou d’une partie réelle et d’une partie imagi-
naire. La corrélation entre l’information de phase et celle d’amplitude est généralement faible,
celles-ci ne représentant pas le même type d’information : l’amplitude est fonction de l’intensité
Solutions proposées
- 87 -
lumineuse émise par la scène et enregistrée par la caméra (comme tout autre système d’imagerie
non holographique), et la phase est fonction de la topologie de la scène. Il en découle donc des
propriétés différentes.
L’image d’amplitude est très sensible aux variations d’illumination de la scène, et au bruit de
manière générale, alors que l’image de phase y est insensible. En effet, l’image de phase est peu
bruitée, et les variations d’illumination n’ont aucune influence sur le relief de la scène. Cepen-
dant, les sauts de phase (la phase mesurée peut uniquement prendre des valeurs comprises dans
l’intervalle [ [0;2π , alors que le signal de phase original peut prendre n’importe quelle valeur; la
valeur originale est donc connue à 2π près.) présentent un handicap majeur pour utiliser cette
information directement par les algorithmes d’analyse de texture. Il est donc indispensable
d’enlever la non linéarité introduite par ces sauts de phase à l’aide d’algorithmes de déroulement
de phase (Figure 3.6). De nombreux algorithmes de ce type ont été développés [Ghiglia et Pritt,
1998; Zebker et Lu, 1998], pour des applications où la phase varie généralement de manière
continue, mais avec beaucoup de bruit (images de radar interférométrique à synthèse d’ouverture
(InSAR) [Graham, 1974; Allen, 1995], imagerie par résonance magnétique (IRM) [Stark et
Bradley, 1988]). L’imagerie de semi-conducteurs par holographie digitale présente des variations
abruptes de la phase, avec un niveau de bruit relativement faible, rendant les algorithmes classi-
ques de déroulement de phase inadaptés.
(a) (b)
Figure 3.6. Exemple de déroulement de phase avec (a) l’image de phase avec les enroulements de phase et (b) l’image déroulée.
Source: Two dim
ensional phase unwrapping – W
illey
Chapitre 3
- 88 -
Le problème du déroulement de phase peut être contourné dans le cadre de l’analyse de texture
en travaillant dans le domaine de Fourier. L’image complexe est ainsi filtrée par une banque de
filtres de Gabor fournissant des paramètres fonctions de la phase et de l’amplitude.
Cette approche donne un degré de liberté supplémentaire dans le choix des paramètres optimaux,
une banque de filtres de Gabor pouvant être appliquée sur différentes combinaisons entre
l’amplitude et la phase (amplitude seule, phase seule, ou image complexe). Un traitement simi-
laire peut être effectué avec les filtres d’ondelettes, mais implique une convolution sur l’image
réelle et sur l’image imaginaire, ce qui double le temps de calcul. Dans un souci de rapidité, nous
nous sommes limités aux filtres d’ondelettes sur les images d’amplitudes, ce qui permet de com-
parer les performances avec un banc de filtre de Gabor sur le même type d’images.
3.3.1. Combinaisons phase/amplitude
3.3.1.1. Image d’amplitude normalisée
Travailler uniquement sur l’image d’amplitude présente deux atouts majeurs :
• La grande majorité des techniques de segmentation de texture a été développée pour des
images d’amplitude.
• Le développement d’une méthode de segmentation de texture pour l’inspection de semi-
conducteurs basée sur l’information d’amplitude peut être appliqué à tout type d’outil
d’inspection optique de semi-conducteurs, ce qui étend le champ d’application de la mé-
thode.
Comme nous l’avons vu précédemment, l’image d’amplitude est sensible à différents types de
fluctuations. Il est nécessaire de corriger les non uniformités causées d’une part par le système
optique, et d’autre part par les variations présentes physiquement à la surface du semi-conduc-
teur. Ces variations peuvent être atténuées grâce à une étape de normalisation. L’éclairage des
images par champ clair crée une illumination non uniforme de type gaussien, où l’image est
beaucoup plus lumineuse en son centre qu’à la périphérie. Les fluctuations d’épaisseur des cou-
ches de matériaux sur le wafer, ainsi que celles de mise au point créent des variations qui, lorsque
qu’elles sont suffisamment petites, peuvent être assimilées à des modifications locales du
contraste. Ces variations d’illumination et de contraste sont corrigées à l’aide des statistiques lo-
cales au voisinage de chaque pixel. Les variations d’illumination peuvent être corrigées en nor-
Solutions proposées
- 89 -
malisant chaque pixel par la valeur moyenne mesurée dans son voisinage local. Les variations de
contraste s’expriment par des fluctuations de la valeur d’écart type. La normalisation classique
d’un signal est effectuée par soustraction de la valeur moyenne et division par la valeur d’écart
type. Cependant, cette normalisation ne peut être opérée sur chaque pixel de l’image, à partir des
statistiques de niveau de gris au voisinage du pixel, car elle augmente dramatiquement le niveau
de bruit. En effet, le niveau de gris des pixels dont le voisinage présente une faible valeur d’écart
type, est divisé par une très petite valeur, ce qui augmente de manière très importante
l’amplitude, et donc le bruit. Une autre solution consiste à diviser chaque pixel par une combinai-
son entre la valeur moyenne et l’écart type afin de corriger les variations d’illumination, et atté-
nuer les variations de contraste. Le niveau de gris d’un pixel dont le voisinage présente un écart
type fort est divisé par une quantité plus importante, que celui d’un pixel dont le voisinage pré-
sente un écart type faible, ce qui a pour effet de réduire les fluctuations de contraste.
L’amplitude ( )A x, y de chaque pixel est donc divisée par la somme de la valeur moyenne
( ),R S x yµ × et de l’écart type ( ),R S x yσ × , auquel un facteur k est attribué, mesuré dans un voisi-
nage de R par S pixels pour donner l’amplitude normalisée ( )NA x, y telle que :
( ) ( )( ) ( ), ,N
R S R S
A x, yA x, y
x y k x yµ σ× ×
=+ ⋅
(3.1)
La taille (R, S) du voisinage est un compromis entre la quantité de correction, et la quantité
d’information supprimée. Les valeurs de R = S = 5, k = 1 ont été établies de manière expérimen-
tale, pour conserver suffisamment d’information dans la texture, tout en atténuant les variations
de contraste. Un exemple de normalisation est présenté Figure 3.7.
Chapitre 3
- 90 -
(a) (b)
Figure 3.7. Normalisation d’image d’amplitude avec (a) image brute et (b) image corrigée
Cette image peut ensuite être filtrée à l’aide des ondelettes, ou d’une banque de filtre de Gabor.
3.3.1.2. Image de phase
L’image de phase ( )I x, yϕ est obtenue en divisant l’image complexe ( )I x, y par son amplitude
( )A x, y . Cette opération est effectuée en pratique en divisant la partie réelle et la partie imagi-
naire par l’amplitude :
( ) ( )( )
( ) ( )( ) ( )( ),cos sin
,j x,yI x y
I x, y e x, y j x, yA x y
ϕϕ ϕ ϕ= = = + ⋅ (3.2)
Ceci correspond physiquement à une image dont l’image d’amplitude est unitaire. L’information
extraite à l’aide des filtres de Gabor est alors uniquement fonction de la phase, ce qui permet de
juger de son importance pour le travail de segmentation, sans avoir à effectuer d’opération de
déroulement de phase.
3.3.1.3. Image complexe
L’image complexe ( )I x, y peut être directement transformée dans Fourier afin d’y être filtrée à
l’aide des filtres de Gabor, ce qui permet d’extraire une information qui est fonction de la phase
et de l’amplitude.
Solutions proposées
- 91 -
3.3.1.4. Image complexe d’amplitude normalisée
Les fluctuations auxquelles l’image d’amplitude est sujette peuvent dégrader les résultats. Il est
possible de recréer une image complexe normalisée ( )NI x, y à partir de l’image d’amplitude
normalisée ( )NA x, y et l’image de phase ( )I x, yϕ telles qu’elles ont été décrites auparavant :
( ) ( ) ( ) ( )( ) ( ), ,
,N N NI x, y
I x, y I x, y A x y A x yA x yϕ= ⋅ = ⋅ (3.3)
Cette opération permet théoriquement de combiner les avantages de l’image d’amplitude norma-
lisée et ceux de l’image de phase.
Une fois les différentes combinaisons d’images choisies, il est important de décrire les paramè-
tres sélectionnés pour les deux techniques d’analyse de texture retenues : l’analyse par ondelet-
tes, et par un banc de filtres de Gabor.
3.3.2. Méthodes d’analyse de texture utilisées
3.3.2.1. Transformée en ondelettes
Le premier outil d’analyse spatio-fréquentielle utilisé est basé sur une décomposition en onde-
lettes à l’aide de l’algorithme à trous. Ce choix s’explique par l’invariance en translation de ce
type d’algorithme, et son application directe sur l’image d’amplitude. L’ondelette utilisée est
l’ondelette biorthogonale de Coifman [Tian, 1996]. Trois niveaux de décomposition sont utilisés
dans les directions horizontales et verticales. La direction diagonale n’est pas utilisée car les
structures à la surface d'un semi-conducteur sont uniquement orientées dans ces deux directions
privilégiées, rendant les détails diagonaux peu discriminants. De plus, les détails diagonaux ré-
sultent de deux filtres passe haut (filtrage passe haut sur les lignes suivi d’un filtrage passe haut
sur les colonnes), ce qui les rend très bruitées. L’information à la sortie des filtres ne peut être
utilisée directement dans un classifieur, le résultat de la convolution entre le signal et une onde-
lette réelle étant un signal de forme ondulatoire. Il est donc indispensable d’extraire l’information
utile à l’aide d’une estimation locale de l’écart type dans une fenêtre glissante. La taille de la fe-
nêtre est typiquement fixée à 17×17 pixels [Unser, 1995]. Il en résulte un vecteur de paramètres à
6 dimensions associé à chaque pixel de l’image.
Chapitre 3
- 92 -
3.3.2.2. Filtres de Gabor
De la même manière, la banque de filtres de Gabor est construite avec des filtres horizontaux et
verticaux sur trois niveaux de détails (Figure 3.8).
u
v
Filtres verticaux
Filtres horizontaux
Figure 3.8. Banque de filtre de Gabor avec 2 orientations et 3 échelles
Les images filtrées sont directement utilisables dans un classifieur, sans passer par une étape in-
termédiaire contrairement aux ondelettes réelles.
3.4. Optimisation du classifieur
Pour le travail de segmentation d’images, deux classifieurs ont étés étudiés :
• Les polytopes de contraintes pour leur facilité d’implantation matérielle (par exemple
dans une structure ASIC ou FPGA [Miteran, Gorria et al., 1994]) afin d’accélérer les
traitements, et leur simplicité de mise en œuvre permettant certaines optimisations.
• Les SVM qui grâce à la recherche de la frontière optimale entre les différentes classes
permettent d’obtenir des performances optimales en terme de mauvaise classification.
Les fluctuations présentes dans le signal d’entrée, telles qu’elles ont été présentées, ont un impact
sur les paramètres de texture. Cependant, une correction uniforme de l’impacte de ces fluctua-
tions est impossible pour deux raisons :
Solutions proposées
- 93 -
• Seules certaines textures sont sensibles aux variations de contraste (Figure 3.1). En effet,
seules les zones de DRAM présentent de telles fluctuations, affectant uniquement les pa-
ramètres de textures extraits de ces zones. Une correction globale nécessiterait une
connaissance a priori des caractéristiques des zones dans lesquelles les paramètres sont
extraits, ce qui est le but final de cette étude.
• Pour une texture donnée, sujette à un certain nombre de fluctuations, seuls un certain
nombre de paramètres sont sensibles à ces variations : les paramètres issus de filtres dont
la bande passante correspond aux fréquences de la texture sont affectés (Figure 3.9), alors
que les paramètres issus de filtres dont la bande passante se situe en dehors de ces fré-
quences ne le sont pas (Figure 3.10). Ces deux graphiques présentent la variation des
paramètres en fonction de la valeur locale d’écart type, chaque couleur représentant un
exemple distinct de la même classe (en l’occurrence, de la DRAM), mais acquis à des
emplacements différents sur le wafer. Les paramètres sont extraits à l’aide des ondelettes
sur deux échelles différentes, et l’écart type est mesuré dans une fenêtre glissante de
17×17 pixels. La mesure locale de l’écart type étant une mesure des fluctuations, il appa-
raît sur la Figure 3.9 que la variation des détails horizontaux de niveau 1 est fortement
corrélée avec la variation d’écart type. Cependant, la Figure 3.10 indique très peu de
corrélation entre la variation des détails horizontaux de niveau 2 et celle de l’écart type,
ce qui indique bien que tous les paramètres n’ont pas la même sensibilité aux fluctuations.
Chapitre 3
- 94 -
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.1 0.15 0.2 0.25 0.3 0.35Estimation locale de l'écart type
Dét
ails
hor
izon
taux
de
nive
au 1
123456789101112131415
Figure 3.9. Représentation des détails horizontaux d’ondelette de niveau 1 en fonction de l’écart type local sur 15
exemples différents de la même texture
0.005
0.01
0.015
0.02
0.025
0.03
0.035
0.04
0.045
0.05
0.1 0.15 0.2 0.25 0.3 0.35Estimation locale de l'écart type
Dét
ails
hor
izon
taux
de
nive
au 2
123456789101112131415
Figure 3.10. Représentation des détails horizontaux d’ondelette de niveau 2 en fonction de l’écart type local sur 15
exemples différents de la même texture
Solutions proposées
- 95 -
L’effet des fluctuations, comme illustré Figure 3.9, peut être désastreux pour la segmentation, car
l’apprentissage basé sur un exemple unique de chaque texture ne peut prendre en compte
l’ensemble de ses variations. Cependant, la corrélation entre la variation d’un paramètre et celle
de l’écart type peut permettre d’identifier les paramètres sensibles aux fluctuations. Cette infor-
mation peut alors être utilisée pour modifier les caractéristiques du classifieur. Cette approche
peut être appliquée à un classifieur très simple tel que les polytopes de contraintes, mais est diffi-
cilement applicable à un classifieur de type SVM qui servira de base pour une comparaison en
termes de temps de calcul et de précision.
3.4.1. Optimisation des polytopes de contraintes
L’objet de cette optimisation est une prédiction de l’impact des fluctuations, afin d’en atténuer
les conséquences. Le coefficient de corrélation r ( 0 1r≤ ≤ ) entre les valeurs d’un paramètre, et
les valeurs de l’écart type des niveaux de gris de l’image, mesure la ressemblance entre leurs
évolutions respectives. Pour r proche de 0, la corrélation est très faible, ce qui signifie que le
paramètre est peu sensible aux fluctuations (Figure 3.10), alors que pour r proche de 1, la
corrélation est très forte, et le paramètre est très sensible aux fluctuations (Figure 3.9). Cette me-
sure doit donc être effectuée sur chaque paramètre, pour chaque classe lors de l’apprentissage.
Lorsqu’un paramètre possède une très forte corrélation avec l’écart type pour une classe donnée,
ce paramètre est alors plus sujet à des variations. L’hypercube correspondant nécessite d’être
élargi dans la direction correspondante à ce paramètre, afin de lui accorder une plus grande tolé-
rance. De la même manière, si la corrélation est faible, l’hypercube peut être réduit dans cette
direction. L’opération de rétraction/dilatation doit être effectuée de manière à ce qu’aucun hyper-
cube de classe différente ne se superpose, et que chaque hypercube ne contienne que des points
d’une seule et même classe. Ces conditions peuvent être conservées en modifiant le paramètre R
utilisé pour définir les frontières de l’hypercube pour chaque point d’apprentissage. En fait, pour
chaque paramètre de chaque classe, la rétraction/dilatation doit être effectuée en fonction des
coefficients de corrélation des voisins de classe différente. Pour un paramètre donné, le coeffi-
cient de corrélation peut être extrêmement différent d’une classe à l’autre.
Au cours de la phase de création des hypercubes, la classe des voisins les plus proches est mémo-
risée, ce qui permet ensuite de connaître pour chaque point la classe de chacun de ses voisins
Chapitre 3
- 96 -
dans chaque direction. Si l’on considère les p paramètres pour les classes y1 et y2, la condition
(2.71) sur R peut être réécrite telle que :
] ]1 2 2 10 ( , ) ( , ) 1, 0,k kR y y R y y k p< + < ∀ ∈ (3.4)
Avec 1 2( , )kR y y le coefficient R pour le paramètre k de classe y1 avec son plus proche voisin de
classe y2. Le coefficient 1 2( , )kR y y donne un moyen de contrôle de la rétraction/dilatation des
hypercubes afin que deux hypercubes de classe différente ne se superposent pas. Chaque expan-
sion dans une direction donnée est suivie d'une rétraction proportionnelle dans la même direction
des hypercubes correspondant à une classe différente. Comme la correction n’affecte que les
coefficients utilisés pour définir les frontières, les hypercubes ne peuvent être réduits au point
d’exclure des points d’apprentissage appartenant à la même classe, ou agrandis au point d’inclure
des points d’apprentissage d'une classe différente.
La Figure 3.11 illustre la création des frontières d’hypercubes avec R constant pour un problème
à deux classes y1 et y2. La Figure 3.12 illustre la correction d’hypercubes, en considérant que le
paramètre x2 présente une forte corrélation avec l’écart type pour la classe y1 mais pas pour la
classe y2, et de la même manière pour x1 avec la classe y2. Il en découle que l’on fixe
2 1 2 2 2 1( , ) ( , )R y y R y y> ce qui a pour effet d’élargir les hypercubes de la classe y1 dans la
direction x2, et de rétracter les hypercubes de la classe y2 dans cette même direction. Et de
manière similaire dans la direction x1 avec 1 1 2 1 2 1( , ) ( , )R y y R y y< .
d1
R×d1
x2
d2
R×d1
R×d2
R×d2
Frontières correspondant à la distance du max
x1
Frontières des hypercubes
y1 y2
Figure 3.11. Illustration de la création des frontières sans corrections
Solutions proposées
- 97 -
d1x2
d2
R1(y1, y2)×d1
Frontières correspondant à la distance du max
x1
Frontières des hypercubes
R1(y2, y1)×d1
R2(y2, y1)×d2
R2(y1, y2)×d2
y1 y2
Figure 3.12. Illustration de la création des frontières avec corrections pour le paramètre x1 de la classe y2 et le
paramètre x2 de la classe y1 fortement corrélés avec l’écart type.
La variation du paramètre R est définie comme étant une fonction f des coefficients de corréla-
tion. Pour notre application, les meilleurs résultats ont été obtenus en choisissant une fonction
échelon pour f, similaire à un seuil à partir duquel les paramètres sont considérés comme étant
fortement corrélés avec l’écart type. La valeur du seuil a été fixée à 0.75 de manière expérimen-
tale. L’évolution de R est alors définie par la règle suivante : en considérant les deux classes y1 et
y2, et r1k et r2k les coefficients de corrélation respectifs pour le paramètre k :
1 2 1 2 2 1
1 2 1 2 2 1
1 2 1 2 2 1
Si 0.75 et 0.75 alors ( , ) 0.6 et ( , ) 0.4
Si 0.75 et 0.75 alors ( , ) 0.4 et ( , ) 0.6
Si 0.75 et 0.75 alors ( , ) 0.5 et ( , ) 0.
k k k k
k k k k
k k k k
r r R y y R y y
r r R y y R y y
r r R y y R y y
> < = =
< > = =
< < = =
1 2 1 2 2 1
5
Si 0.75 et 0.75 alors ( , ) 0.5 et ( , ) 0.5k k k kr r R y y R y y> > = =
(3.5)
La création des hypercubes est suivie de l’étape de fusion à l’intérieur de chaque classe. Le pro-
cessus d’apprentissage peut donc être décomposé en 4 étapes : Collecte des points
d’apprentissage, mesure du coefficient de corrélation r avec l’écart type, création des hypercubes
avec R modifié en fonction de r, puis fusion des hypercubes.
Un exemple à 2 classes permet d’illustrer l’intérêt de la correction. Un exemple à 2 classes est
utilisé (DRAM en rouge et zone sans structure en vert), avec les détails d’ondelette horizontaux
Chapitre 3
- 98 -
et verticaux de niveau 1, ce qui permet une visualisation aisée de l’espace de paramètre de di-
mension 2.
(a) (b)
Figure 3.13. Hypercubes après fusions avec les points d’apprentissage (a) sans correction (b) avec correction
(a) (b)
Figure 3.14. Hypercubes après fusions avec les points d’apprentissage et points de test (a) sans correction (b) avec correction
La Figure 3.13 présente les points d’apprentissage provenant d’une seule image sur le wafer et
les hypercubes fusionnés correspondants. Les deux classes représentées sont les zones de DRAM
de classe yd et les zones sans structure de classe ys. Les 2 paramètres x1 et x2 de classe ys sont très
x1
x2
x1
x2 -0.05 0 0.05 0.1
-0.1
-0.05
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
-0.05 0 0.05 0.1-0. 1
-0.05
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
. yd
. ys
. yd
. ys
-0.05 0 0.05 0.1-0. 1
-0.05
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
-0.05 0 0.05 0.1-0.1
-0.05
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35 x1
x2
x1
x2
. yd
. ys
. yd
. ys x1 x1
x1 x1
x2 x2
x2 x2
Solutions proposées
- 99 -
peu corrélés avec l’écart type (coefficients de corrélation respectifs de 0,56 et 0,51), alors que les
2 paramètres de la classe yd sont fortement corrélés (coefficients de corrélation respectifs de 0,99
et 0,93), et donc fortement sujets à des variations. Les hypercubes sont présentés sans correction
pour R = 0.5 sur la Figure 3.13.a, et avec la correction, soit R = 0.4 pour la classe ys, et R = 0.6
pour la classe yd sur la Figure 3.13.b. Pour évaluer l’intérêt de la correction, des échantillons de
test appartenant à chaque classe sont collectés sur différents emplacements du wafer, et sont re-
portés sur les graphiques représentant les hypercubes définis précédemment, sans correction
(Figure 3.14.a), et avec correction (Figure 3.14.b). Conformément aux prédictions, les paramètres
de la classe yd présentent d’importantes fluctuations, alors que ceux de la classe ys restent inva-
riants. Sans la correction, un certain nombre de points de la classe yd sont inclus dans les hyper-
cubes de la classe ys et sont alors mal classés. La correction permet d’agrandir les hypercubes de
classe yd, et ainsi inclure la quasi-totalité des points yd de test.
3.4.2. Optimisation des SVMs
L’apprentissage des SVM [Vapnik, 1998] peut s’avérer frustrant et aléatoire pour le novice au vu
du grand choix entre les différents type de noyaux, et du nombre de paramètres à fixer (de 1 à
trois paramètres pour les noyaux les plus fréquemment utilisés, auxquels il faut ajouter la cons-
tante de coût C). Les performances du classifieur peuvent être détériorées de manière dramatique
si les paramètres sont choisis de manière inappropriée. La méthode proposée par Hsu [Hsu,
Chang et al., 2003], permet d’optimiser la procédure de choix des paramètres. Le noyau utilisé
est le noyau RBF. Ce noyau projette les données de manière non-linéaire dans un espace de di-
mension supérieure. Cette propriété permet de traiter les cas où la relation entre la classe et les
paramètres n’est pas linéaire. De plus, l’utilisation de ce noyau donne généralement de très bons
résultats. Pour ce noyau, il faut fixer le paramètre γ ainsi que la constante de coût C. La méthode
consiste à partitionner la base d’apprentissage en v sous-ensembles de même taille (typiquement
v = 5), puis effectuer une validation croisée : v-1 sous ensembles sont utilisés pour
l’apprentissage, et le sous ensemble restant est utilisé pour mesurer les performances du classi-
fieur. Cette opération est effectuée séquentiellement pour que chaque sous-ensemble
d’apprentissage soit testé une fois, ce qui permet d’évaluer la précision du classifieur. La valida-
tion croisée est opérée pour différents couples (C, γ), ceux-ci étant sélectionnés pour former une
grille uniforme. Le couple (C, γ) donnant la meilleure précision est choisi et utilisé pour la classi-
Chapitre 3
- 100 -
fication de nouveaux points. Cette méthode, très coûteuse en temps de calcul, a été effectuée sur
chaque Ba, et nous a permis d’obtenir la meilleure précision de validation croisée pour le couple
(C, γ) de valeur moyenne (20, 0.5).
L’optimisation telle qu’elle est effectuée sur les polytopes est difficilement applicable aux SVMs
du fait de leur architecture complexe. Il est néanmoins possible de modifier les frontières de ma-
nière isotrope pour donner plus de poids à une classe donnée, ce qui peut s’avérer utile pour un
problème à deux classes de détection de défauts afin de diminuer le taux de non détection en
donnant plus de poids à la classe de défauts. Cependant, cette opération modifie les frontières
dans toutes les directions, alors que la correction recherchée doit seulement modifier les frontiè-
res dans les directions correspondant aux paramètres sensibles aux variations.
3.5. Schéma global de la procédure de segmentation et de détection de défauts
Les figures Figure 3.15 et Figure 3.16 représentent les différentes étapes nécessaires pour
effectuer l’apprentissage, et la décision permettant de détecter les défauts.
Sélection manuelle des zones d’apprentissage
Extraction des paramètres
Optimisation du classifieur
Apprentissage du classifieur
Image complexe
Filtres de Gabor ou transformée en ondelettes
Polytopes de contraintes ou SVM
Modification des frontières des hypercubesou optimisation des paramètres des SVM
Segmentation - Apprentissage
Frontières de décisionHypercubes
ou vecteurs de support
Figure 3.15. Etape d’apprentissage
Solutions proposées
- 101 -
Extraction des paramètres
Classification de chaque pixel
Image de différence
Masque des régions de l’image
Image complexe
Frontières de décision
Image complexe d’un circuit voisin
Seuillage de l’image de différence à partir du masque des régions
Masque des défauts
Segmentation - Décision Détection de défauts
Figure 3.16. Etape de décision et de détection des défauts
3.6. Conclusion
La complexité de mise en œuvre d’un système complet de segmentation d’image est accentuée
par les contraintes liées au travail dans un milieu industriel tel que celui du semi-conducteur. En
effet, la segmentation d’images doit s’opérer avec des impératifs de rapidité, de flexibilité sous
une supervision minimale. Ces contraintes ne permettent pas la caractérisation d’un système de
segmentation d’images, celle-ci nécessitant une forte supervision des résultats pour juger des per-
formances du classifieur, et en corriger les faiblesses, avec par exemple l’ajout d’échantillons
d’apprentissage provenant des zones mal classifiées. Il est alors difficile de construire une base
d’apprentissage solide, représentative de l’ensemble des variations des paramètres et permettant
un apprentissage optimal du classifieur.
Les changements de mise au point, d’illumination et les fluctuations de l’épaisseur des films in-
fluent sur l’apparence des textures, et sur les paramètres qui en sont extraits par les outils
d’analyse de texture. Un lien entre ces fluctuations et la précision de la segmentation a été établi
par l’intermédiaire des variations présentes sur les paramètres de texture. Plusieurs solutions sont
proposées pour minimiser l’impact de fluctuations, notamment en tenant compte de la nature
complexe des images, ce qui donne un degré de liberté supplémentaire pour le choix des para-
mètres. En effet, l’information de phase et celle d’amplitude correspondent à deux phénomène
Chapitre 3
- 102 -
différents, l’amplitude est fonction de l’intensité lumineuse émise par la scène et enregistrée par
la caméra, alors que la phase est fonction de la topologie de la scène. Il en découle donc des pro-
priétés différentes qui peuvent être exploitées pour le travail de segmentation, en appliquant le
banc de filtre de Gabor sur différentes combinaisons entre l’amplitude et la phase (amplitude
seule, phase seule, ou image complexe).
Une optimisation peut aussi être introduite au niveau du classifieur. Dans le cas du classifieur par
polytopes de contraintes, les frontières étant parallèles aux axes de l’espace des paramètres, il est
possible d’accorder une plus grande tolérance aux classes dont les paramètres sont sujets à de
fortes fluctuations. En effet, une mesure de la corrélation entre les variations d’écart type et celles
de chaque paramètre permet d’identifier les paramètres sensibles aux fluctuations pour chaque
classe, et d’élargir les hypercubes correspondants. Une telle optimisation ne peut être appliquée
sur un classifieur de type SVM, mais le réglage de ses paramètres peut être opéré à l’aide de la
méthode décrite par [Hsu, Chang et al., 2003]. Ces différentes optimisations sont testées et
comparées dans le chapitre 4.
Solutions proposées
- 103 -
3.7. Bibliographie
Allen C. T. (1995). "Interferometric synthetic aperture radar". IEEE Geoscience and Remote Sensing Soci-
ety Newsletter. Vol. 96, pp. 6-13. Duda R. O., Hart P. E., et al. (2001). "Pattern classification". New York, Wiley. Ghiglia D. C. and Pritt M. D. (1998). "Two-dimensional phase unwrapping : theory, algorithms, and software". New York,
Wiley. Graham L. C. (1974). "Synthetic interferometer radar for topographic mapping". Proceedings of the IEEE. Vol.
62(6), pp. 763-768. Hsu C. W., Chang C. C., et al. (2003). "A practical guide to support vector classification".
http://www.csie.ntu.edu.tw/~cjlin/libsvm/. Miteran J., Gorria P., et al. (1994). "Classification géométrique par polytopes de contraintes. Performances et intégration".
Traitement du Signal. Vol. 11(5), pp. 393-408. Stark D. D. and Bradley W. G. (1988). "Magnetic Resonance Imaging". St. Louis, C.V. Mosby Co. Tian J. (1996). "The Mathematical Theory and Applications of Biorthogonal Coifman Wavelet Systems",
PhD, Rice University. Unser M. (1995). "Texture classification and segmentation using wavelet frames". IEEE Transactions on
Image Processing. Vol. 4(11), pp. 1549-1560. Vapnik V. N. (1998). "Statistical learning theory". New York. Zebker H. A. and Lu Y. (1998). "Phase unwrapping algorithms for radar interferometry: residue-cut, least-squares, and
synthesis algorithms". Journal of the Optical Society of America, Series A. Vol. 15(3), pp. 586-598.
- 104 -
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 105 -
Chapitre 4 Performances, implantation et application de la segmentation d’image à la détection de défauts Performances, implantation et application de la segmentation d’image à la détection de défauts
4.1. Introduction
La mesure des performances de la segmentation peut être faussée si le protocole de test repré-
sente mal les problèmes qui peuvent apparaître lors d’une utilisation normale. Les différentes
fluctuations, qui se traduisent par des variations d’écart type, peuvent dégrader les performances
de la segmentation si la base d’apprentissage (Ba) n’est pas représentative de l’ensemble de ces
variations. Or, il a été établi dans le chapitre précédent qu’il est impossible d’obtenir une telle Ba,
l’apprentissage devant être réalisé sur une Ba réduite. Il est donc primordial d’évaluer la qualité
de la segmentation avec des Ba réduites, représentant les différents cas de figure qui peuvent ap-
paraître.
Plusieurs approches ont été décrites pour limiter l’influence des fluctuations, et obtenir des résul-
tats consistants, quelque soit la Ba utilisée, tout en s’approchant des performances obtenues avec
une Ba complète. L’apport des différentes approches proposées pour atténuer l’effet des fluctua-
tions est quantifié en terme de taux de mauvaises classifications (Tmc). La segmentation est en-
suite appliquée à un problème réel de détection de défaut, afin de comparer les performances du
seuillage adaptatif à l’intérieur de régions segmentées face au seuillage global. Finalement,
l’implantation logicielle à l’intérieur d’un système préexistant est détaillée.
4.2. Performances de la segmentation
4.2.1. Base d’apprentissage et de test
Le protocole de test retenu consiste à collecter une base de test (Bt) représentative de l’ensemble
des fluctuations. Il a donc été choisi d’enregistrer des images sur le diamètre complet d’un wafer,
soit une colonne de 1728 images sur 24 circuits différents. La courbe de densité des valeurs
d’écart type, mesurée dans les zones de DRAM sur la Bt permet de visualiser l’amplitude des va-
riations (Figure 4.1). La sélection des échantillons d’apprentissage est effectuée de manière à
Chapitre 4
- 106 -
avoir un exemple de chaque texture, pour différentes valeurs d’écart type. L’amplitude des varia-
tions d’écart type est alors divisée en 15 intervalles réguliers (Figure 4.1), et chaque Ba est choi-
sie de manière à ce que la valeur moyenne de son écart type corresponde à celle de l’intervalle.
A partir des images de la Bt, une mosaïque est créée, chaque colonne représentant une colonne
d’images sur un circuit différent. La Figure 4.2 présente une mosaïque d’écarts types où
l’estimation locale de l’écart type de chaque image est utilisée pour construire la mosaïque. Les
15 emplacements utilisés pour extraire les Ba y sont représentés, en partant de la valeur d’écart
type la plus faible pour l’emplacement 1, jusqu’à la plus forte pour l’emplacement 15.
Figure 4.1. Courbe de densité des valeurs d’écart type
Ce découpage permet de déterminer la valeur d’écart type moyenne voulue pour chacune des 15 Ba
Numéros des Ba
0.1 0.2 0.3 0.4
1e+4
2e+4
3e+4
Ecart type
Nombre de Pixels
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 107 -
Figure 4.2. Sélection des 15 emplacements d'apprentissage sur une mosaïque d’écart type
13 12
8
1
15
10 5
11
7 9
3
14
2
6
4
Chapitre 4
- 108 -
Chaque emplacement représente une seule image, celle-ci est utilisée pour extraire un échantillon
représentatif de chaque type de texture (classe). Une exception est faite pour les zones sans struc-
ture, situées majoritairement entre chaque circuit, et donc à l’extérieur des emplacements sélec-
tionnés. L’emplacement choisi pour cette classe correspond à l’espace inter-circuit le plus proche
de l’emplacement sélectionné pour les autres classes. Chaque apprentissage est effectué sur un
seul et unique emplacement, ce qui pour les 15 emplacements définit 15 Ba distinctes. Le classi-
fieur sélectionné est entraîné avec une seule Ba, et est testé sur la mosaïque entière soit 1728
images. La segmentation est effectuée pixel par pixel, sur des images de 436×436 pixels. Un
exemple de segmentation sur une image est présenté Figure 4.3.
Afin d’évaluer les performances de chaque type de classifieur avec les différentes Ba, une mosaï-
que de référence (Figure 4.4) a été entièrement segmentée à la main, ce qui permet d’établir des
taux précis de mauvaise classification (Tmc). Les paramètres sont extraits à l’aide des différentes
méthodes décrites dans le chapitre précédent :
• transformée en ondelettes appliquées sur les images d’amplitude normalisées
• banc de filtres de Gabor appliquées sur :
• les images d’amplitude normalisées
• les images de phase
• les images complexes
• les images complexes d’amplitude normalisée
Ces paramètres seront testés sur les polytopes de contraintes sans aucune correction, puis en
appliquant la correction, et finalement sur les SVM.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 109 -
Figure 4.3. Exemple de segmentation avec les zones de DRAM en rouge, de logique en bleu, et sans structure en
vert
Chapitre 4
- 110 -
Figure 4.4. Mosaïque de référence avec les zones de DRAM en rouge, de logique en bleu, et sans structure en vert.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 111 -
4.2.2. Performances des polytopes de contraintes
4.2.2.1. Sans correction
L’apprentissage est effectué sur les 15 emplacements définis précédemment pour chaque type de
paramètres, puis testés sur la Bt complète. Les résultats sont reportés sur le graphique Figure 4.5.
Taux de mauvaise classification sans correction
2.00%
4.00%
6.00%
8.00%
10.00%
12.00%
14.00%
16.00%
18.00%
20.00%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Ondelettes Amplitude NormaliséeGabor Amplitude NormaliséeGabor PhaseGabor ComplexeGabor Complexe Amplitude Normalisée
Figure 4.5. Taux de mauvaise classification des polytopes de contraintes sans correction pour les différents types de
paramètres, avec un apprentissage sur 15 Ba.
Une observation générale du graphique indique qu’il n’existe pas un ensemble de paramètres qui
donne le meilleur Tmc pour toutes les Ba, et que globalement, les meilleurs résultats sont obtenus
pour les Ba 4 à 10, celles-ci étant plus représentatives de la distribution d’écart type de la Bt
(Figure 4.1).
La transformée en ondelettes donne des résultats relativement médiocres avec le plus mauvais
Tmc pour 6 emplacements différents, dont un Tmc de 22.16% pour l’emplacement 14, pour un Tmc
moyen de 6.83% sur les 15 Ba. En observant les mosaïques segmentées correspondantes aux Ba
respectives 13 (Figure 4.6.a) et 14 (Figure 4.6.b), il apparaît une corrélation nette entre les zones
mal segmentées, et les variations d’écart type présentées Figure 4.2. En effet, les régions où la
classe ys est attribuée aux échantillons de classe yd, correspondent aux régions de faible écart
type, ce qui confirme la forte corrélation entre les paramètres issus de la transformée en ondelet-
tes, et les variations d’écart type.
Chapitre 4
- 112 -
(a) (b)
Figure 4.6. Mosaïques segmentées avec la transformée en ondelettes pour les Ba (a) n°13 et (b) n°14.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 113 -
Des résultats similaires sont obtenus avec les paramètres issus du banc de filtres de Gabor sur les
images d’amplitude normalisées, les erreurs entre la classe ys et la classe yd apparaissant toujours
dans les régions de faible écart type. Néanmoins, il est intéressant de noter que le meilleur Tmc est
obtenu lorsque l’apprentissage est effectué dans les régions de faible écart type (Ba n°2 à 5). Le
Tmc moyen sur les 15 Ba est de 4.99%.
Les paramètres issus du banc de filtres de Gabor sur les images de phase permettent d’obtenir des
résultats moyens, mais relativement constants. Ils sont eux aussi sujet aux variations, à la diffé-
rence près que l’apprentissage dans les zones de faible contraste conduit à attribuer la classe yl
aux échantillons de classe yd dans les zones de fort contraste (Figure 4.7.a), alors que
l’apprentissage dans les zones de fort contraste conduit à affecter la classe ys aux échantillons de
classe yd dans les zones de faible contraste (Figure 4.7.a). Les mauvaises classifications apparais-
sent majoritairement sur les échantillons de classe yd, les paramètres de cette zone étant fortement
affectés par les variations d’écart type.
Les paramètres issus du banc de filtres de Gabor sur les images complexes ont un comportement
différent, car ils permettent d’obtenir les meilleurs et les plus mauvais Tmc. Contrairement aux
mosaïques précédentes, où les mauvaises classifications ne sont pas isolées mais apparaissent sur
une série d’images, les mauvaises classifications sont ici ponctuelles, sur quelques images isolées
(Figure 4.8.a), et ne peuvent pas être reliées aux variations de contraste. Cependant, l’amplitude
des images complexes est très sensible aux variations d’illumination. En se référant à la mosaï-
que d’illumination (Figure 4.8.b), il apparaît une très nette corrélation entre les variations
d’illumination, et les mauvaises classifications, la classe yl étant attribuée aux échantillons de
classe yd dans les zones fortement illuminées (Figure 4.8.a). Ce constat peut se révéler utile pour
la suite, car les variations d’illumination ne sont pas corrélées avec les variations d’écart type, ce
qui indique que les erreurs de classifications dues à leur influence respective ne sont pas corré-
lées entre elles.
Les paramètres issus du banc de filtres de Gabor sur les images complexes d’amplitude normali-
sée sont définis de manière à combiner les avantages des images complexes, tout en réduisant
leur sensibilité aux variations d’illumination. Toutefois, les résultats ne sont pas réellement
concluants, le Tmc étant généralement plus mauvais que le Tmc correspondant au banc de filtres de
Gabor appliqués aux simples images d’amplitude normalisées.
Chapitre 4
- 114 -
(a) (b)
Figure 4.7. Mosaïques segmentées avec le banc de filtres de Gabor appliqué sur les images de phase pour les Ba (a) n°1 et (b) n°15.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 115 -
1312
8
1
15
10 5
11
7 9
3
142
6
(a) (b)
Figure 4.8. (a) Mosaïque segmentée avec le banc de filtres de Gabor appliqué sur les images complexes pour la Ba n°2 et (b) la mosaïque d’illumination
4
Chapitre 4
- 116 -
D’une manière générale, ces résultats mettent en évidence la relation entre la qualité de la Ba et
les performances de la segmentation. L’utilisation des différents paramètres ne permet pas de
corriger la variabilité des résultats en fonction de la Ba utilisée. Nous allons donc évaluer une au-
tre approche basée sur l’optimisation du classifieur des polytopes de contraintes présentée au
chapitre 3. La correction permet de donner une plus grande tolérance aux classes dont les para-
mètres sont fortement corrélés avec les variations d’écart type.
4.2.2.2. Avec correction
La correction telle qu’elle a été proposée ne peut être appliquée à tous les paramètres, ceux-ci
devant avoir une corrélation suffisante avec les variations d’écart type pour pouvoir être corrigés.
Seuls certains paramètres issus de la transformée en ondelettes, du banc de filtres de Gabor appli-
qué sur les images d’amplitude, ainsi que les images complexes d’amplitude corrigée présentent
des taux de corrélation suffisamment grands pour permettre une correction. Les résultats sont re-
portés sur les graphiques Figure 4.9, Figure 4.10 et Figure 4.11 avec en pointillé les Tmc sans
appliquer la correction, et en trait plein les Tmc avec la correction.
Taux de mauvaise classification avec correction
2.50%
4.50%
6.50%
8.50%
10.50%
12.50%
14.50%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Ondelettes Amplitude NormaliséeOndelettes Amplitude Normalisée avec Correction
Figure 4.9. Taux de mauvaise classification des polytopes de contraintes avec correction pour les paramètres issus
de la transformée en ondelettes des images d’amplitude normalisées.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 117 -
Taux de mauvaise classification avec correction
2.50%
4.50%
6.50%
8.50%
10.50%
12.50%
14.50%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
nGabor Amplitude NormaliséeGabor Amplitude Normalisée avec Correction
Figure 4.10. Taux de mauvaise classification des polytopes de contraintes avec correction pour les paramètres issus
du banc de filtres de Gabor appliqué sur les images d’amplitude normalisées.
Taux de mauvaise classification avec correction
2.50%
4.50%
6.50%
8.50%
10.50%
12.50%
14.50%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Gabor Complexe Amplitude NormaliséeGabor Complexe Amplitude Normalisée avec Correction
Figure 4.11. Taux de mauvaise classification des polytopes de contraintes avec correction pour les paramètres issus
du banc de filtres de Gabor appliqué sur les images complexes d’amplitude normalisée.
Chapitre 4
- 118 -
L’optimisation du classifieur permet d’améliorer sensiblement les résultats. Le plus mauvais Tmc
obtenu avec le banc de filtres de Gabor appliqué sur les images d’amplitude normalisées (Figure
4.10) chute de 10.3% (Figure 4.12.a) à 6.5% (Figure 4.12.b). Des détériorations marginales des
résultats peuvent intervenir, notamment avec la Ba n° 5 sur la Figure 4.11, mais avec une
dégradation inférieure à 0.1%, elles restent négligeables comparées à l’apport général de cette
technique. L’impact global de la correction est de rendre les résultats plus uniformes, et moins
dépendants de l’emplacement des échantillons d’apprentissage, ce qui correspond bien au but
recherché. Toutefois, cette méthode ne fonctionne pas dans tous les cas de figure, ni de manière
uniforme sur toutes les Ba. En effet, les performances de la correction dépendent en grande partie
de la qualité des échantillons d’apprentissage, ceux-ci devant présenter suffisamment de varia-
tions locales d’écart type, pour permettre des mesures de corrélation fiables.
Les graphiques Figure 4.13 et Figure 4.14 représentent les coefficients de régression des trois ty-
pes de texture (yd, yl, ys) mesurés sur les 15 Ba, respectivement avec les détails horizontaux et
verticaux d’ondelette de niveau 1. Seuls les échantillons pour lesquels le coefficient de régression
est supérieur à 0.75 sont corrigés. La limite 0.75r = est représentée en pointillés, ce qui permet
de visualiser directement les échantillons sur lesquels a lieu la correction. Dans le cas de la
Figure 4.13, les résultats sont relativement homogènes pour chaque classe, et chaque Ba, la
correction ayant lieu sur toutes les Ba de la classe yd. En revanche, les résultats présentés Figure
4.14 sont très inhomogènes, notamment pour la classe yd, qui présente de très fortes variations,
allant de 0.01 à 0.93, avec seulement 4 Ba dépassant le seuil de 0.75. Ces fluctuations
s’expliquent par l’amplitude des variations d’écart type qui n’est pas la même sur toutes les Ba.
Si l’on s’intéresse plus en détail à l’amplitude des ces variations sur les différentes Ba de classe yd
(Figure 4.15), il apparaît qu’elles sont très inhomogènes, avec des pics correspondant aux pics
observés Figure 4.14 pour la classe yd. En effet, en cas de forte corrélation entre les paramètres et
les variations d’écart type, de très faibles variations sont suffisantes pour la mesurer. En revan-
che, si cette corrélation est plus faible, une plus grande variation est nécessaire afin de mesurer
un coefficient de corrélation fiable.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 119 -
(a) (b)
Figure 4.12. Mosaïques segmentées avec le banc de filtres de Gabor appliqué sur les images d’amplitude normali-sées pour la Ba n°11 (a) sans la correction (Tmc = 6.28%) et (b) avec la correction (Tmc = 4.80%).
Chapitre 4
- 120 -
Figure 4.13. Coefficients de régression des détails horizontaux d’ondelette de niveau 1 avec l’écart type pour les
trois types de texture.
Figure 4.14. Coefficient de régression des détails verticaux d’ondelette de niveau 1 avec l’écart type pour les trois
types de texture.
Détails verticaux de niveau 1
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Coe
ffici
ent d
e ré
gres
sion
|r| yd |r| yl |r| ys
0.75
Détails horizontaux de niveau 1
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Coe
ffici
ent d
e ré
gres
sion
|r| yd |r| yl |r| ys
0.75
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 121 -
Figure 4.15. Amplitude de variation de l'écart type des échantillons de classe yd
Les avantages et limites de la correction ayant été présentés, ces nouveaux résultats peuvent
maintenant être comparés aux résultats précédemment obtenus avec les paramètres qui
n’offraient pas un coefficient de corrélation suffisamment élevé pour pouvoir être corrigés. Ces
résultats sont consignés dans le graphique Figure 4.16.
Taux de mauvaise classification avec et sans correction
2.00%
4.00%
6.00%
8.00%
10.00%
12.00%
14.00%
16.00%
18.00%
20.00%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Ondelettes Amplitude Normalisée avec Correction
Gabor Amplitude Normalisée avec Correction
Gabor Phase
Gabor Complexe
Gabor Complexe Amplitude Normalisée avec Correction
Figure 4.16. Taux de mauvaise classification des polytopes de contraintes avec et sans correction pour les différents
types de paramètres, avec un apprentissage sur 15 bases d’apprentissage.
Amplitude de variation de l'écart type des échantillons de DRAM
0.02
0.03
0.04
0.05
0.06
0.07
0.08
0.09
0.10
0.11
0.12
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
yd A
mpl
itude
de
varia
tion
de l'
écar
t typ
e
Chapitre 4
- 122 -
Ce graphique révèle que seuls deux ensembles de paramètres (banc de filtres de Gabor appliqué
sur les images d’amplitude normalisées, et sur les images complexes) permettent d’obtenir des
performances optimales pour toutes les Ba. Il serait donc intéressant de combiner les avantages
de ces deux groupes de paramètres pour obtenir un Tmc moyen de 4% sur toutes les Ba.
4.2.2.3. Combinaison de paramètres
Les deux groupes de paramètres peuvent être combinés pour former un seul groupe de 12 para-
mètres qui est classifié par les polytopes de contraintes. Les résultats sont présentés sur le gra-
phique Figure 4.17.
Taux de mauvaise classification avec et sans correction
2.00%
3.00%
4.00%
5.00%
6.00%
7.00%
8.00%
9.00%
10.00%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Gabor Amplitude Normalisée et Gabor Complexe sans Correction
Gabor Amplitude Normalisée et Gabor Complexe avec Correction
Figure 4.17. Taux de mauvaise classification des polytopes de contraintes avec et sans correction pour les différents
types de paramètres, avec un apprentissage sur 15 bases d’apprentissage.
La combinaison des paramètres issus du banc de filtres de Gabor appliqué sur les images
d’amplitude normalisées, et sur les images complexes ne permet pas d’obtenir un Tmc suffisam-
ment stable, avec notamment un Tmc proche de 10% pour la Ba n°2.
Une autre solution consiste à combiner directement les résultats de chaque classifieur, à l’aide
d’un système de vote. Les différents ensembles de paramètres n’étant pas sensibles aux mêmes
types de variations, et ne mesurant pas tous le même type d’information (amplitude/phase), la
probabilité qu'ils échouent sur les mêmes échantillons est faible. Les paramètres issus du filtrage
de Gabor sur les images d’amplitude normalisées, sur les images complexes et sur les images de
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 123 -
phase en sont un parfait exemple, car ils donnent une information, certes corrélée, mais suffisam-
ment différente pour donner des résultats de classification différents.
A partir des résultats de segmentation des différents classifieurs (c'est-à-dire du classifieur des
polytopes de contraintes associé à différents groupes de paramètres), un système de vote est mis
en place. Si la majorité des classifieurs donne la même décision, alors cette décision est acceptée.
Dans le cas contraire, il est impossible de donner une décision finale basée uniquement sur ces
résultats. Pour ces points, la décision est alors basée sur la classe majoritairement représentée
parmi les points déjà classifiés dans le voisinage du point étudié. Cette classification a le mérite
de réunir les avantages de chaque classifieur sans en reprendre les faiblesses.
Dans un premier temps, les résultats de la classification provenant des deux meilleurs groupes de
paramètres (banc de filtres de Gabor appliqué sur les images d’amplitude normalisées, et sur les
images complexes) sont combinés avec les résultats de la classification obtenus à l’aide du banc
de filtres de Gabor appliqué sur les images complexes d’amplitude normalisée (Figure 4.18).
Cette classification ne donne pas de très bons résultats car les images complexes d’amplitude
normalisées, et les images d’amplitude normalisées sont soumises au même type de variations, et
échouent aux mêmes emplacements, ce qui explique une très mauvaise classification pour la Ba
n°15.
En revanche, la combinaison des résultats provenant du filtrage de Gabor sur les images
d’amplitude normalisées, sur les images complexes et sur les images de phase, donne des résul-
tats très intéressants, avec un Tmc maximal de 5.04%, et un Tmc moyen de 4.13%. Cette dernière
méthode offre une très grande robustesse, et permet d’obtenir de très bons résultats, et ce quelque
soit l’emplacement d’apprentissage. Cette combinaison est comparée à la combinaison précé-
dente sur la Figure 4.18.
Nous avons, à titre de comparaison, effectué l’apprentissage du classifieur avec un seul ensemble
de 18 paramètres formé par les trois groupes de paramètres retenus : banc de filtres de Gabor ap-
pliqué sur les images d’amplitude normalisées, sur les images complexes et sur les images de
phase (Figure 4.19).
Chapitre 4
- 124 -
Taux de mauvaise classification par combinaison
2.00%
3.00%
4.00%
5.00%
6.00%
7.00%
8.00%
9.00%
10.00%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
nCombinaison Gabor Amplitude Normalisée, Complex et Complex d'AmplitudeNormaliséeCombinaison Gabor Amplitude Normalisée, Complex et Phase
Figure 4.18. Taux de mauvaise classification en combinant les résultats de classification obtenus des polytopes de
contraintes sur différents groupes de paramètres.
Taux de mauvaise classification par combinaison
2.00%
3.00%
4.00%
5.00%
6.00%
7.00%
8.00%
9.00%
10.00%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Gabor Amplitude Normalisée, Complex et Phase dans le meme classifieur
Combinaison Gabor Amplitude Normalisée, Complex et Phase
Figure 4.19. Comparaison entre la combinaison des résultats de trois classifieurs, et les résultats d’un seul classifieur
avec les trois groupes de paramètres.
De meilleurs résultats sont obtenus en combinaison des résultats des trois classifieurs, qu’en
combinant les trois groupes de paramètres dans un seul classifieur. Ces performances inférieures
peuvent s’expliquer par la grande dimensionnalité de l’espace, ou la présence de paramètres non
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 125 -
discriminant. Nous avons donc utilisé deux techniques de réduction du nombre de paramètres qui
permettent de projeter les vecteurs dans un espace de dimension inférieure et ainsi en réduire le
nombre [Duda, Hart et al., 2001]: l’analyse en composantes principales (ACP) qui nous a permis
de réduire le nombre de paramètres à quatre, et l’analyse de Fisher à trois paramètres. Les Tmc
moyens obtenus sont de 13.52% pour l’ACP et de 13.24% pour Fisher, ce qui ne permet pas
d’améliorer les résultats précédemment obtenus, ces techniques ne prenant pas en compte la va-
riation des paramètres, mais seulement les variances inter et intra-classe.
4.2.2.4. Base d’apprentissage complète
Pour valider la pertinence de notre approche, il est indispensable de comparer les performances
des classifieurs dont l’apprentissage est réalisé sur une Ba réduite avec celles des classifieurs dont
l’apprentissage est réalisé sur une Ba complète. Cette comparaison permet de vérifier que les Tmc
obtenus avec une apprentissage réalisé sur une Ba réduite, tendent vers les Tmc optimaux obtenus
avec une Ba complète. L’apprentissage est donc effectué sur les 15 Ba pour les différents groupes
de paramètres. Les Tmc sont consignés dans le Tableau 4.1 avec et sans correction.
Tmc sans correction Tmc avec correction
Transformée en ondelettes 4.49 % 4.46 %
Banc de filtres de Gabor appliqué sur les images d’amplitude normalisées
3.83 % 3.82 %
Banc de filtres de Gabor appliqué sur les images de phase
4.12 % 4.04 %
Banc de filtres de Gabor appliqué sur les images complexes
3.49 % 3.49 %
Banc de filtres de Gabor appliqué sur les images complexes d’amplitude normalisée
3.96 % 3.94 %
Tableau 4.1. Taux de mauvaise classification des polytopes de contraintes pour les différents groupes de paramètres avec une Ba complète
Les résultats sont très bons, avec des Tmc compris entre 3.5% et 4.5%, quelque soit la méthode
employée. Les meilleurs Tmc sont obtenus pour le banc de filtre de Gabor appliqué aux images
complexes, ce dernier donnant déjà les meilleurs Tmc pour les Ba n°6 à 13. La correction ne peut
pas être appliquée dans le cas des images complexes, car le coefficient de régression reste infé-
Chapitre 4
- 126 -
rieur à 0.75. Dans tous les autres cas, la correction permet d’améliorer légèrement les résultats,
mais son influence reste minime, étant donné que la Ba complète est représentative de l’ensemble
des variations de contraste présentes sur la Bt.
La combinaison des résultats des trois classifieurs étudiée précédemment donne un Tmc moyen de
4.13%, ce qui la place dans l’intervalle des Tmc obtenus avec une Ba complète, et renforce la
pertinence de notre approche.
4.2.3. Performances des SVM
Afin de comparer les performances respectives des deux classifieurs, les mêmes Ba sont utilisées,
avec les mêmes paramètres sur un classifieur SVM. Un noyau RBF est utilisé pour cette étude, et
les paramètres sont fixés tel que (C, γ) = (20, 0.5).
4.2.3.1. Base d’apprentissage réduite
L’apprentissage est effectué sur les 15 Ba définies précédemment pour chaque type de paramètre,
puis testé sur Bt. Les résultats de la segmentation sont reportés sur le graphique Figure 4.20.
Taux de mauvaise classification des SVM
2.00%
4.00%
6.00%
8.00%
10.00%
12.00%
14.00%
16.00%
18.00%
20.00%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Ondelettes Amplitude NormaliséeGabor Amplitude NormaliséeGabor PhaseGabor ComplexeGabor Complexe d'Amplitude Normalisée
Figure 4.20. Taux de mauvaise classification des SVM pour les différents types de paramètres, avec un apprentis-
sage sur 15 bases d’apprentissage.
Les résultats sont différents de ceux obtenus avec les polytopes de contraintes, car c’est ici avec
les paramètres issus du filtrage de Gabor sur les images complexes d’amplitude normalisée que
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 127 -
les meilleurs résultats sont obtenus avec un Tmc moyen de 4.09%, et un Tmc maximal de 5.47%.
Les images de phase donnent elles aussi de très bons résultats. Ces différences peuvent
s’expliquer par les frontières non cartésiennes des SVM qui permettent de mieux décrire la forme
générale des distributions.
4.2.3.2. Combinaison des résultats des classifieurs
Une combinaison des résultats des classifieurs peut être effectuée pour abaisser le Tmc. La com-
binaison des résultats provenant du banc de filtres de Gabor appliqué sur les images complexes
d’amplitude normalisée, sur les images d’amplitude normalisées, et sur les images de phase ne
permet pas d’améliorer suffisamment les résultats pour justifier son usage (Figure 4.21). En
revanche, une très nette amélioration est apportée par la combinaison des résultats provenant des
trois groupes de paramètres (Figure 4.21): banc de filtres de Gabor appliqué sur les images com-
plexes d’amplitude normalisée, sur les images d’amplitude normalisées, et sur les images com-
plexes avec un Tmc moyen de 3.76%.
Taux de mauvaise classification des SVM
2.50%
3.00%
3.50%
4.00%
4.50%
5.00%
5.50%
6.00%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Numéro de l'emplacement correspondant à l'échantillon d'apprentissage
Pour
cent
age
de m
auva
ise
clas
sific
atio
n
Gabor Complexe d'Amplitude NormaliséeCombinaison Gabor Complexe d'Amplitude Normalisée, Amplitude Normalisée, PhaseCombinaison Gabor Complexe d'Amplitude Normalisée, Amplitude Normalisée, Complexe
Figure 4.21. Comparaison entre la combinaison des résultats de trois classifieurs, et les résultats du classifieur don-
nant les meilleurs résultats avec un seul groupe de paramètres.
Chapitre 4
- 128 -
4.2.3.3. Base d’apprentissage complète
Les résultats de la segmentation effectuée avec un apprentissage sur la Ba complète sont reportés
dans le Tableau 4.2. Les meilleurs résultats, avec un Tmc proche de 4%, sont obtenus avec le banc
de filtres de Gabor appliqué sur les images d’amplitude normalisées. Cependant, dans le cas du
banc de filtres de Gabor appliqué sur les images complexes d’amplitude normalisée, et celles de
phase, l’utilisation d’une Ba complète dégrade les résultats par rapport au Tmc moyen mesuré
avec les Ba réduites.
Du fait de la nature des SVM, l’apprentissage sur une Ba complète n’améliore pas forcément les
résultats. En effet, contrairement aux polytopes de contraintes où chaque point d’apprentissage
apporte une contrainte locale, avec les SVM, un point d’apprentissage peut être ignoré si le coût
de sa mauvaise classification est inférieur à C. Dès lors, si C est mal choisi, les résultats peuvent
être dégradés. Dans notre approche nous n’avons pas répété la phase de validation croisée per-
mettant de trouver de manière automatique les valeurs optimales de (C, γ) pour la Ba complète,
car cette opération requiert une trop grande puissance de calcul.
Tmc
Transformée en ondelettes 4.49 %
Banc de filtres de Gabor appliqué sur les
images d’amplitude normalisées 3.99 %
Banc de filtres de Gabor appliqué sur les
images de phase 5.67 %
Banc de filtres de Gabor appliqué sur les
images complexes 5.19 %
Banc de filtres de Gabor appliqué sur les
images complexes d’amplitude normalisée5.40 %
Tableau 4.2. Taux de mauvaise classification des SVM pour les différents groupes de paramètres avec une Ba com-plète
Les temps de calcul sur PC, nécessaires à la segmentation des images, sont équivalents pour les
polytopes de contraintes et les SVM avec l’utilisation d’une Ba réduite, de l’ordre d’une heure
pour une mosaïque de 1728 images sur un Pc de type Pentium 4, cadencé à 1,7 GHz. Cependant,
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 129 -
ces temps peuvent être réduits de manière notoire avec une implantation matérielle des polytopes
de contraintes, alors que la complexité des SVM, et leurs frontières d’équations non cartésiennes
empêchent ce type d’implantation.
Pour une implantation logicielle, l’utilisation d’une Ba complète introduit une très nette diffé-
rence en temps de calculs, à l’avantage des polytopes de contraintes. Lors de nos tests, la seg-
mentation d’une mosaïque complète à partir des filtres de Gabor appliqués aux images com-
plexes est effectuée en 6 heures avec les polytopes de contraintes, alors que la même segmenta-
tion en utilisant les SVM requiert 2 semaines de calcul.
4.3. Application de la segmentation à la détection de défauts
4.3.1. Choix du mode opératoire
Deux modes de fonctionnement sont envisageables pour appliquer la segmentation à la détection
de défauts. Le premier consistant à segmenter entièrement un circuit d’un wafer (Figure 4.22), et
mémoriser la mosaïque ainsi obtenue pour pouvoir appliquer les masques sur chaque circuit pour
effectuer le seuillage adaptatif à l’intérieur des régions segmentées. Ce mode de fonctionnement
donne la possibilité de corriger les erreurs de segmentation. L’opérateur peut examiner la mosaï-
que à la fin de la segmentation, et éventuellement corriger les zones mal segmentées. De plus, la
mosaïque est enregistrée pour chaque type de wafer, ce qui permet de la réutiliser ultérieurement
et ainsi éviter une nouvelle étape de segmentation. Cette simplicité d’utilisation constitue un
atout décisif pour une implantation sur un produit commercial. En revanche, cette technique pose
des problèmes pratiques, notamment, d’alignement des images avec le masque, et surtout de ges-
tion des flots de données. Cette gestion des flots de données n'est pas compatible avec le logiciel
existant du VAT, et nécessiterait des modifications majeures. De plus, le VAT n'est pas conçu
pour l’analyse de grandes surfaces, nécessaire pour obtenir une mosaïque complète. Nous avons
donc opté pour une segmentation “à la volée”, chaque image étant segmentée, avant l’alignement
et la soustraction à l’image correspondante sur un circuit voisin. Ce choix permet de minimiser
les modifications apportées au programme existant, puisqu’il suffit d’insérer un module de seg-
mentation dans le flot de données. Cette méthode a le désavantage d’empêcher toute correction
de la mosaïque, mais permet néanmoins d’évaluer l’apport de la segmentation sur la détection de
défauts. La détection peut alors être effectuée sur différents types de wafer, sans avoir à segmen-
Chapitre 4
- 130 -
ter l’intégralité d’un circuit, ce qui peut être très important pour effectuer des tests rapides de re-
détection de défauts caractérisés par un autre outil d’inspection.
Figure 4.22. Mosaïques segmentée d’un circuit entier de 71×72 images
4.3.2. Méthodologie
Pour cette application, nous n’avons à notre disposition qu’un seul wafer de type mémoire dont
les défauts à l’intérieur de quelques zones de DRAM ont été caractérisés préalablement par le
fabricant du wafer. Seul un fichier standard de report des défauts est fourni. Ce fichier répertorie
la position ainsi que la taille des défauts, mais aucune information n’est disponible sur l’outil
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 131 -
d’inspection utilisé. Les défauts présents à l’intérieur des zones de logiques ne sont pas réperto-
riés, nous partons simplement de l’hypothèse que leur nombre doit être du même ordre de gran-
deur que celui des défauts présents dans la DRAM. La détection de défaut ne peut être effectuée
sur le wafer entier, celui-ci contenant plus de 536 circuits, et chaque circuit étant composé
d’environ 70×70 images avec le champ de vision du VAT. Le temps de traitement sur le VAT
étant d’environ 1 seconde par image pour effectuer la transformée de Fourier directe, le filtrage
dans Fourier, la transformée de Fourier inverse, l’alignement des images et leur soustraction, ce
qui représenterait pour un wafer entier un temps d’inspection d’environ 30 jours, le VAT n’étant
qu’un prototype d’outil d’inspection. Ces temps d’inspection sont irréalistes par rapport au type
de test que nous voulons conduire. La zone d’inspection est donc limitée à 11×11 images sur 20
circuits différents de manière à couvrir 8 défauts de tailles différentes dans les zones de DRAM,
soit 2420 images à traiter. Les images sont stockées afin de conserver les mêmes conditions pour
chaque test.
4.3.3. Résultats
La détection des défauts est effectuée dans un premier temps avec le système existant par seuil-
lage global de l’image de différence, la valeur du seuil étant définie en fonction du niveau de
bruit, et du coefficient de tolérance K comme défini en (2.16). Pour chaque valeur de K, la détec-
tion de défauts est opérée, et le nombre de bonnes/fausses détections est consigné sur le graphi-
que Figure 4.23. Seuls les défauts trouvés dans les zones de DRAM sont comptabilisés en tant
que bonne détection, les défauts dans les barres de logiques n’ayant pas été caractérisés. Les
fausses détections regroupent donc les fausses détections à l’intérieur de la DRAM, ainsi que
l’ensemble des détections à l’intérieur des barres de logique.
La détection de défaut est ensuite opérée à l’aide du seuillage adaptatif à l’intérieur des régions
segmentées, les images étant segmentées à la volée. Un étiquetage est réalisé sur chaque masque
afin d’éliminer les régions dont la superficie est inférieure à 100 pixels, celles-ci ne pouvant être
dues qu’à des erreurs de segmentation. La valeur du seuil est déterminée en fonction du niveau
de bruit à l’intérieur de chaque région R de l’image (on entend ici par région les zones apparte-
nant à la même classe, qu’elles soient connexes ou non), et du coefficient de tolérance KR comme
défini en (2.17). La valeur du coefficient de tolérance KR est définie à 20 pour les zones de logi-
que et sans structure de manière à ignorer les défauts dans ces régions. Pour chaque valeur de
Chapitre 4
- 132 -
KDRAM, la détection de défauts est opérée, et le nombre de bonnes/fausses détections est consigné
sur le graphique Figure 4.24.
La Figure 4.23 et la Figure 4.24 représentent le nombre de défauts réels trouvés (échelle de
droite), ainsi que le nombre de fausses détections (échelle de gauche) pour les deux méthodes
décrites précédemment en fonction de la valeur du coefficient de tolérance.
Seuillage global adaptatif
0
1
2
3
4
5
6
7
8
9
17 16 15 14 13 12 11 10 9 8 7
Coefficient de tolérance K
Nom
bre
de d
éfau
ts tr
ouvé
s
0
500
1000
1500
2000
2500
Nom
bre
de fa
usse
s dé
tect
ions
Défauts trouvésFausses détections
Figure 4.23. Nombre de défauts trouvés avec le seuillage global adaptatif
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 133 -
Seuillage adaptatif à l'intérieur de régions segmentées
0
1
2
3
4
5
6
7
8
9
17 16 15 14 13 12 11 10 9 8 7 6 5 4
Coefficient de tolérance K DRAM
Nom
bre
de d
éfau
ts tr
ouvé
s
0
500
1000
1500
2000
2500
Nom
bre
de fa
usse
s dé
tect
ions
Défauts trouvésFausses détections
Figure 4.24. Nombre de défauts trouvés avec le seuillage adaptatif à l’intérieur des régions segmentées
Ces résultats montrent clairement l’intérêt de la segmentation. Sans segmentation, le nombre de
fausses détections augmente de manière exponentielle, et seuls trois défauts peuvent être identi-
fiés sans fausses détections pour K = 16. Trouver le quatrième défaut s’avère impossible avec
cette méthode, car pour K = 7, il faudrait alors trier les quatre défauts parmi plus de 2600 fausses
détections. En revanche, le seuillage adaptatif à l’intérieur des régions segmentées permet de
trouver cinq défauts sans aucune fausse détection pour KDRAM = 8, et sept défauts avec une seule
fausse détection pour KDRAM = 6. Le huitième et plus petit des défauts peut être identifié au prix
de 42 fausses détections, pour KDRAM = 5. Ces fausses détections sont principalement dues au
bruit présent dans les zones de DRAM, et sont difficiles à minimiser.
4.3.4. Discussion
Dans un cadre d’une inspection industrielle, le coefficient de tolérance KDRAM ne peut être fixé à
5 pour trouver le huitième défaut car celui-ci génère beaucoup trop de fausses détections. Et si
l’on considère KDRAM = 6, qui donne de bons résultats en trouvant sept défauts pour une seule
fausse détection, le choix peut être délicat. En effet, l’inspection que nous avons réalisée ne cou-
vre que 0.1% de la surface utile du wafer, ce qui proportionnellement donnerait un nombre de
1000 fausses détections pour une inspection complète du wafer. Ce nombre de fausses détections
Chapitre 4
- 134 -
peut être suffisamment élevé pour rendre l’identification des signatures de défauts plus difficile
sur la carte de défauts, et entraîner une perte de rendement. Il faut donc établir pour chaque pro-
duit un taux de fausses détections et de non détections acceptable, en fonction de différents pa-
ramètres (coût de fabrication, sensibilité aux défauts, etc…).
La segmentation permet dans notre cas de trouver deux défauts de plus que le seuillage global
sans fausses détections. Il existe néanmoins un certain risque lié à l’utilisation de la segmenta-
tion. Dans le cas d’erreurs de segmentation dans une zone de DRAM, classifiant celle-ci en tant
que zone de logique ou zone sans structure, les défauts présents dans cette zone seront ignorés.
Ce risque est néanmoins minime, car avec des Tmc proches de 4% avec les méthodes décrites au-
paravant, la probabilité qu’un défaut soit situé dans une zone mal classifiée devient extrêmement
faible.
4.4. Implantation logicielle
L’implantation de tous les algorithmes est effectuée avec le logiciel WiT, celui-ci ayant déjà été
utilisé pour développer tous les algorithmes de base du VAT. C'est un langage graphique de flot
de données, de prise en main très rapide et d’une très grande flexibilité, principalement orienté
vers le développement de programmes de traitement d’images. A l’instar d’autres logiciels basés
sur un langage graphique de flot de données tels que Labview, WiT repose sur une organisation
hiérarchique des programmes (graph), chaque sous-programme (subgraph) étant représenté sous
la forme d’un nouvel opérateur dans le programme situé au niveau supérieur. Le graph du VAT
est présenté Figure 4.25. Chaque opérateur représente un sous programme effectuant une tâche
bien précise (Transformée de Fourier, filtrage, segmentation, détection de défauts, etc… ). Les
opérateurs disponibles dans WiT sont limités aux traitements d’image classiques. Pour effectuer
des opérations plus complexes, il est possible de combiner ces opérateurs, ou d’en programmer
de nouveaux en langage C++. Cette flexibilité permet d’effectuer des opérations très complexes,
et d’écrire des opérateurs spécifiques dans un langage performant. La plupart des opérateurs ont
étés développés en C++ telles que les filtres de Gabor, les filtres d’ondelettes, le classifieur des
polytopes de contraintes, etc… tout en utilisant des librairies de traitement du signal et d’image
(IPL, SPL, OpenCV [Intel, 2003]), ainsi que la librairie LIBSVM [Hsu, Chang et al., 2003] pour
effectuer la classification avec les SVM.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 135 -
Le module de segmentation d’image pour la détection de défauts est présenté Figure 4.26. Pour
faciliter l’implantation dans le flux des données, la segmentation est insérée directement dans le
module de détection de défauts, avec en entrée l’image d’un circuit, et l’image de différence cor-
respondante, pour donner en sortie l’image seuillée.
Contrairement à Labview, WiT ne propose pas le développement d’une interface graphique pour
l’utilisateur (GUI), celle-ci devant être réalisées sous Visual C++ ou Visual Basic. Les interfaces
correspondant à la segmentation ont été insérées dans la GUI développée pour le VAT sous
Visual Basic. La GUI (Figure 4.27) reprend la structure du flot de données développée sous WiT
(Figure 4.25). Chaque bouton est associé à une fenêtre de réglage des paramètres, et une case
permet d’activer ou non la fonction correspondante dans WiT. Les différents paramètres de la
segmentation sont détaillés Figure 4.28, Figure 4.29 et Figure 4.30.
Le VAT (Figure 4.31) est situé dans une salle blanche (Figure 4.32), dans les locaux d’ORNL.
Cette salle blanche de classe 1000 nécessite le port d’un équipement spécial afin de limiter
l’apport de particules externes. Le montage optique est placé sous un flux laminaire de classe 100
(moins de 100 particules de diamètre > 0.5 microns par pied cube d'air).
Deux ordinateurs sont nécessaires au bon fonctionnement du VAT. Un premier ordinateur est
utilisé pour gérer les instruments de mesure, les déplacements du wafer, les réglages de la fré-
quence de la porteuse, les AOMs, etc… par l’intermédiaire d’un logiciel développé en Visual
Basic. Le deuxième ordinateur est exclusivement destiné aux traitements d’images à l’aide des
programmes développés sous WiT, et l’interface graphique écrite en Visual Basic. Les deux or-
dinateurs sont connectés en réseau, ce qui permet aux deux programmes de dialoguer.
Chapitre 4
- 136 -
Figure 4.25. Graph du VAT dans le logiciel WiT
Mod
ules
de
traite
men
ts p
our o
bten
ir un
e im
age
com
plex
e
FFT,
rece
ntra
ge d
e la
FFT
, filt
rage
, FFT
inve
rse
Mod
ule
de d
étec
tion
des d
éfau
ts
Mod
ule
d’ac
quis
ition
des
hol
ogra
mm
es
Mod
ules
de
segm
enta
tion
d’im
age
appr
entis
sage
, et s
egm
enta
tion
Mod
ules
de
visu
aliz
atio
n dé
roul
emen
t de
phas
e,
visu
alis
atio
n 3D
Mod
ules
où
les a
lgor
ithm
es d
e se
gmen
tatio
n,
et d
e dé
tect
ion
de d
éfau
ts, d
étai
llés d
ans l
es
chap
itres
2 e
t 3, s
ont i
mpl
anté
s
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 137 -
Figure 4.26. Détail du module de segmentation à l’intérieur du module de détection de défauts
CorOpRtn Label(CorImage *Binary_Image, CorImage *Labeled, CorImage *Reduce, int
*Nb_of_label, CorVector *Original_class, int Connectivity, int MinSize)
int
i;
uchar *Vect;
SizeW = WIT_imWidth(Binary_Image);
SizeH = WIT_imHeight(Binary_Image);
Tab.index = 0;
Les o
péra
teur
s de
WiT
peu
vent
êt
re re
grou
pés à
l’in
térie
ur
d’un
mod
ule
L’aj
out d
e no
uvea
ux o
péra
teur
s est
eff
ectu
é en
lang
age
C++
Une
inte
rfac
e gr
aphi
que
déve
lopp
ée
sous
Vis
ual B
asic
per
met
de
régl
er
les p
aram
ètre
s de
chaq
ue o
péra
teur
Chapitre 4
- 138 -
Figure 4.27. Menu général
Paramètres d’acquisition des images, possibilité d’utiliser les images provenant de la caméra, ou de fichier TIF
Possibilité de fixer la porteuse, ou d’effectuer une recherche automatique, afin de recentrer la transformée de Fourier
Sélection de la taille et du type de filtre utilisé dans l’espace de Fourier
Paramètres de la détection de défauts, avec notamment la géométrie de l’inspection avec le nombre de circuits inspectés, et le nombre d’images enregistrées par circuit
Paramètres de la segmentation, avec la sélection du type de filtre utilisé, choix de la correction d’hypercubes, et possibilité de sauvegardes des images segmentées.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 139 -
Figure 4.28. Menu de la segmentation – Page 1
Choix du type de filtre utilisé pour la segmentation
Sélection de la phase d’apprentissage
Facteur de réduction pour diminuer la taille des échantillons d’apprentissage
Appel du programme C de création et de fusion des hypercubes
Sélection de la correction des hypercubes
Sélection de la phase de classification
Facteur de réduction pour classifier des groupes de pixels
Taille minimum des régions après étiquetage. Les régions de taille inférieures étant supprimées
Créer une mosaïque avec les images segmentées
Chapitre 4
- 140 -
Figure 4.29. Menu de la segmentation – Page 2
Possibilité d’établir le seuil basé sur les statistiques de chaque région ou de chaque classe
Permet de tester différentes formules de seuillage
Sélection des images à visualiser
Sélection des images à sauvegarder
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 141 -
Figure 4.30. Menu de la détection de défaut, avec la fenêtre pour définir le seuil de sensibilité
Possibilité d’associer un nom à chaque classe, les paramètres de la détection de défaut étant sauvegardés automatiquement
Accès aux différentes classes définies lors de l’apprentissage
Coefficient de tolérance K. Une valeur de zéro permet d’ignorer les régions appartenant à cette classe pendant la détection de défauts
Image correspondant à l’échantillon d’apprentissage
Permet d’activer la segmentation des images durant la détection de défauts
Chapitre 4
- 142 -
Figure 4.31. Photographie du VAT dans la salle blanche
Figure 4.32. Photographie des deux ordinateurs du VAT dans la salle blanche
Faisceau objet
Faisceau de référence
Modulateurs Acousto-optiques
Camera CCD
Wafer
PC dédié contrôle des instruments, de la caméra et des déplacements du wafer
Instruments de mesure
VAT
PC dédié au traitement d’image
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 143 -
4.5. Conclusion
Le protocole de test, pour l’évaluation des performances d’un système de segmentation, doit être
représentatif des problèmes qui peuvent se produire lors d’une utilisation normale. Il est techni-
quement difficile d’obtenir une Ba complète dans un milieu industriel tel que celui du semi-
conducteur. Il faut donc évaluer les performances de la segmentation avec une Ba réduite, en es-
sayant de couvrir au mieux les différents cas de figure. Dans cette optique, la Bt a été choisie de
manière à représenter les différentes variations qui peuvent apparaître lors d’une utilisation nor-
male, en enregistrant une colonne de 1728 images sur le diamètre du wafer. La distribution des
valeurs d’écart type à l’intérieur des zones de DRAM permet de sélectionner 15 Ba provenant
d’emplacements (images) où la valeur moyenne d’écart type est différente.
L’apprentissage est effectué sur chaque Ba pour chaque groupe de paramètres détaillés au chapi-
tre 3 : transformée en ondelettes sur les images d’amplitude normalisées, et banc de filtre de
Gabor appliqué aux images d’amplitude normalisées, de phase, complexes, et complexes
d’amplitude normalisée. La classification basée sur les polytopes de contraintes donne de ma-
nière générale de meilleurs résultats quand l’apprentissage est effectué sur un emplacement dont
la valeur d’écart type est fortement représentée sur la Bt. Aucun groupe de paramètre ne permet
d’obtenir des performances optimales pour toutes les Ba, les différences d’écart type entre la Ba et
la Bt donnant souvent lieu à des confusions entre les classes. Néanmoins, les meilleurs résultats
sont donnés par banc de filtre de Gabor appliqué aux images d’amplitude normalisées, et les ima-
ges complexes.
La correction des hypercubes, consistant à accorder une plus grande tolérance aux classes dont
les paramètres sont sujets à de fortes fluctuations, permet d’améliorer ces résultats, mais elle ne
peut pas être appliquée sur toutes le Ba, et à tous les groupes de paramètres. En effet, les paramè-
tres doivent présenter une corrélation suffisante avec les variations d’écart type, ce qui dépend du
type d’image choisi, et peut être modifié par la qualité de la Ba.
La combinaison des résultats des classifieurs, avec la correction, par un système de vote permet
de tirer avantage des natures différentes des groupes de paramètres, ceux-ci n’étant pas sensibles
aux mêmes types de variations. Ainsi, la combinaison des résultats provenant du banc de filtres
de Gabor sur les images d’amplitude normalisées, sur les images complexes et sur les image de
phase donne un Tmc maximal de 5%, et un Tmc moyen de 4.1%. Cette méthode donne des résul-
Chapitre 4
- 144 -
tats proches de ceux que l’on peut obtenir avec un apprentissage effectué sur une Ba complète,
avec des Tmc compris entre 3.5% pour le banc de filtres de Gabor appliqué aux images com-
plexes, et 4.5% pour la transformée en ondelettes des images d’amplitude normalisées. Ces résul-
tats permettent de valider la pertinence de notre approche, qui donne des taux de mauvaise classi-
fication homogènes pour les différentes Ba utilisées, et proches des performances optimales obte-
nues pour un apprentissage réalisé sur une base complète.
La classification par les SVM donne de bons résultats pour le banc de filtres de Gabor appliqué
sur les images complexes d’amplitude normalisée avec un Tmc moyen de 4.1%, et un Tmc maxi-
mal de 5.5%. La combinaison des résultats provenant du banc de filtres de Gabor appliqué sur les
images complexes d’amplitude normalisée, sur les images d’amplitude normalisées, et sur les
images complexes donne un Tmc moyen de 3.8%, pour un Tmc maximal de 5%. Ces résultats sont
légèrement meilleurs que la combinaison effectuée avec les résultats de polytopes de contraintes.
Néanmoins, si les temps de calculs sont équivalents pour une Ba réduite sur une implantation
logicielle, ceux-ci peuvent être significativement réduits en prenant avantage de la nature des
polytopes de contraintes qui permet un parallélisme total du traitement des données sur une ar-
chitecture logicielle ou matérielle.
La segmentation appliquée à la détection de défauts permet de comparer les performances du
seuillage adaptatif à l’intérieur des régions segmentées, face au seuillage global. Le seuillage glo-
bal peut identifier 37% des défauts dans les zones de DRAM sans fausses détections, alors que le
seuillage à l’intérieur des régions segmentées permet d’en trouver 62% sans fausses détections, et
87% avec 12% de fausses détections, ce qui correspond à une seule fausse détection dans le cas
étudié. Le risque lié à l’utilisation de la segmentation est suffisamment faible, comparé au béné-
fice sur les performances de la détection de défauts, pour justifier son usage.
Performances, implantation et application de la segmentation d’image à la détection de défauts
- 145 -
4.7. Bibliographie
Duda R. O., Hart P. E., et al. (2001). "Pattern classification". New York, Wiley. Hsu C. W., Chang C. C., et al. (2003). "A practical guide to support vector classification".
http://www.csie.ntu.edu.tw/~cjlin/libsvm/. Intel (2003). "Intel® Open Source Computer Vision Library".
http://www.intel.com/research/mrl/research/opencv/.
- 146 -
Conclusion générale
- 147 -
Conclusion générale
Dans le monde du semi-conducteur, la détection de défauts joue un rôle primordial pour amélio-
rer le rendement, en détectant au plus tôt la cause des défaillances afin de pouvoir les corriger.
L’inspection des circuits de nouvelle génération, dont les structures présentent de forts rapports
profondeur/largeur est définie par la feuille de route de Sematech [Sematech, 2003] comme l’un
des futurs grands challenges.
Dans la première partie de cette étude, nous avons détaillé les avantages et les limitations des ou-
tils classiques utilisés pour ce type d’inspection tels que, la microscopie basée sur un éclairage à
champs clair ou champs sombre, la microscopie confocale, et la microscopie électronique à ba-
layage. Pour pallier leurs limitations, un outil basé sur l’holographie digitale directe est spéciale-
ment développé par la compagnie nLine, en collaboration avec le Laboratoire National d’Oak
Ridge. Les mécanismes de l’holographie, et plus particulièrement de l’holographie digitale di-
recte ont été décrits. Nous avons donné un descriptif détaillé de la méthode utilisée pour obtenir
les images complexes, dont la phase renseigne sur la topologie de la scène, cette information
supplémentaire permettant de trouver des défauts invisibles aux autres outils d’inspection.
Dans la deuxième partie de l’étude, le procédé utilisé pour extraire les défauts est détaillé.
L’identification des défauts est effectuée en comparant deux images, enregistrées au même em-
placement sur deux circuits voisins. L’extraction des défauts dans l’image de différence est opé-
rée à l’aide d’une opération de seuillage. Nous avons établi l’importance de la segmentation, né-
cessaire pour définir un seuil optimisé pour chaque type de structure, en fonction du niveau de
bruit qu’elles génèrent dans l’image de différence, et de la criticité des défauts qu’elles contien-
nent. Parmi les différentes techniques de segmentation d’images détaillées, nous avons sélec-
tionné les méthodes basées sur l’analyse de texture, et en particulier l’analyse spatio-fréquen-
tielle. Ces techniques permettent d’étudier la fréquence comme un phénomène local, sans res-
- 148 -
triction sur la finesse de la texture, et rechercher ces fréquences dans des directions privilégiées,
ce qui les rend adaptées aux motifs répétitifs d’orientations horizontales et verticales des structu-
res de semi-conducteurs. Différents types de classifieurs ont également été étudiés, avec notam-
ment les classifieurs de polytopes de contraintes pour leur rapidité, et leur facilité d’implantation,
et les SVM pour leurs bonnes performances générales.
Dans la troisième partie de cette étude, la problématique de la segmentation d’images de semi-
conducteurs est présentée avec l’étude des différentes fluctuations, et de leur impacte sur les pa-
ramètres utilisés pour discriminer les textures. De plus, les contraintes de rapidité, de flexibilité et
de supervision minimale inhérentes à l’industrie du semi-conducteur ne permettent pas de cons-
truire des bases d’apprentissage complètes, incluant l’ensemble des fluctuations. Nous avons
alors proposé plusieurs méthodes visant à réduire l’influence des variations sur la qualité de la
segmentation. Des optimisations au niveau de la sélection des paramètres sont suggérées, en uti-
lisant la nature complexe des images pour extraire des groupes de paramètres, à l’aide des onde-
lettes et des filtres de Gabor, sur différentes combinaisons entre la phase et l’amplitude. D’autres
optimisations au niveau des classifieurs sont proposées afin de prédire l’effet des fluctuations, et
modifier les polytopes de contraintes pour tolérer de plus grandes variations des paramètres.
Dans la dernière partie, nous avons testé les approches suggérées en segmentant une mosaïque
constituée de 1728 images à l’aide de 15 bases d’apprentissage réduites (Ba). Nous avons mis en
évidence la relation entre la qualité de la base d’apprentissage et la qualité de la segmentation.
Nous avons montré que la correction appliquée aux hypercubes permet une nette amélioration
des résultats, avec une réduction sur le taux de mauvaises classifications (Tmc) allant jusqu’à 4%.
Nous avons aussi détaillé une méthode basée sur la combinaison des résultats de classifieurs,
permettant d’améliorer la qualité de la segmentation, en rendant les résultats plus homogènes, et
moins dépendants de la base d’apprentissage utilisée, avec un Tmc maximal de 5%, et un Tmc
moyen de 4.1%. Nous avons vérifié que cette méthode donne des résultats proches des résultats
optimaux, obtenus à l’aide d’une Ba complète. Finalement, nous avons effectué des tests similai-
res avec les SVM, ce qui nous a permis d’obtenir de bons résultats, mais aussi de mettre en évi-
dence les problèmes liés au réglage des différents paramètres, et les temps de calculs qui peuvent
être rédhibitoire pour ce type d’application. L’application de la segmentation à la détection de dé-
Conclusion générale
- 149 -
fauts, nous a permis de trouver 62% des défauts sans fausses détections, alors que les méthodes
de seuillage global permettent d’en isoler à peine 37%, et ainsi de montrer clairement l’apport
bénéfique de la segmentation sur la détection de défauts.
Un travail important a été effectué pour améliorer le classifieur des polytopes de contraintes, et
transformant ce classifieur, originellement conçu pour un problème à deux classes, en un classi-
fieur multi classes, dont nous avons réduit la dissymétrie. Une technique originale nous a permit
de modifier ce classifieur pour anticiper les variations des paramètres, et en diminuer les effets.
Nous avons également contribué à appliquer des techniques classiques d’extractions des paramè-
tres à l’imagerie complexe, et utiliser cette information pour réduire l’impacte des fluctuations
sur la qualité de la segmentation.
Il serait intéressant d’approfondir ce travail en ne considérant plus la segmentation d’images et la
détection de défauts comme deux opérations distinctes, mais comme une seule opération, en
augmentant leurs interactions. Le classifieur pourrait ainsi être modifié afin de donner plus de
poids aux régions dont les défauts sont les plus critiques, toutes les mauvaises classifications
n’ayant pas le même impacte sur la détection de défauts. Il faudrait également tester la robustesse
du classifieur sur un plus large panel de texture, afin de s’assurer du bon fonctionnement des al-
gorithmes sur différents wafers. Les perspectives, à plus long terme, consistent à adapter les
techniques mise en œuvre pour la segmentation d’images de semi-conducteurs, à d’autres appli-
cations industrielles où seule une base d’apprentissage limitée est disponible.
Ces trois années de recherche ont permis de renforcer la collaboration entre le laboratoire Le2i, et
le Laboratoire National d’Oak Ridge, et plusieurs articles au niveau national et international ont
été publiés. La liste de ces publications est disponible dans la section communications de ce ma-
nuscrit.
- 150 -
Communications
- 151 -
Communications
Rapport d’invention :
P. Bourgeat, P. R. Bingham (2003). “Focus method for complex imagery”, ORNL invention disclosure, Décembre 2003. Revues : P. Bourgeat, F. Meriaudeau, K.W. Tobin, P. Gorria (2004). “Content based segmentation of patterned wafers”, Journal of Electronic Imaging Special
Issue on Quality Control by Artificial Vision, Vol. 13(3), Juillet 2004. P. Bourgeat, F. Meriaudeau, K.W. Tobin, P. Gorria (2003). “Patterned wafer segmentation”, SME Technical Paper, MV03-242, Juin 2003. Conférences internationales : P. Bourgeat, F. Meriaudeau, P. Gorria, K.W. Tobin, F. Truchetet (2004). “Features extraction on complex images”, ICIP’2004, accepté pour publication,
Singapour, Novembre 2004. P. Bourgeat, F. Meriaudeau, K.W. Tobin, P. Gorria (2003). “Comparison of texture features for segmentation of patterned wafers”, Proc. SPIE, Vol.
5266, pp. 179-190, Providence, RI, Octobre 2003. P. Bourgeat, F. Meriaudeau, K.W. Tobin, P. Gorria (2003). “Patterned wafer segmentation”, QCAV’2003, Vol. 5132, pp. 36-44, Gatlinburg, TN,
Mai 2003. P. Bourgeat, F. Meriaudeau, P. Gorria, K.W. Tobin (2003). “Content-based segmentation of patterned wafer for automatic threshold determination”,
Proc. SPIE, Vol. 5011, pp. 183-189, Santa Clara, Janvier 2003. Conférence nationale : P. Bourgeat, F. Meriaudeau, K.W. Tobin, P. Gorria (2003). “Segmentation d’images de semiconducteur pour la détection de défauts”, GRETSI’2003,
Vol. 2, pp. 315-319, Paris, Septembre 2003.