1 traitement numérique des images objectifs : amélioration, élimination du bruit, rehaussement du...

1

traitement numérique des images

objectifs :amélioration, élimination du bruit, rehaussement du contraste, visualisation transmission stockage compression et reconstructiondétection, analyse, reconnaissance (théorie de la décision, intelligence artificielle

méthodes de base à partir desquelles de nombreuses adaptations :filtrage, convolution, analyse fréquentielle (Fourier) à deux dimensionsextension des méthodes monodimensionnelles

décomposition de l’image en régions stationnaires séparées par des contours caractérisés par leur pente, leur courbure faible et leur discontinuités ainsi que par leurs intersections (points caractéristiques)

domaines d’application : dès qu’on dispose d’une image et qu’on souhaite en extraire une information : transmissions numériques, robotique, automatisation des tâches, télédétection, imagerie médicale, assistance à l’opérateur, ...

2

évaluation :

présence active pendant les cours

travaux dirigés : présence et travail réalisé en 12 semaines rapport écrit et présentation en fin de semestre

soit vous proposez un sujet qui vous intéresse soit vous traitez

détection de la pupille et de l’iris dans une image d’œil ou décomposition d’une image en régions et contours (simulation d’un vitrail)

examen écrit portant sur les aspects mathématiques théoriques les méthodes et les algorithmes

contrôle continu :

3

http://graphics.ucsd.edu/~neel/dissertation/chapter1.pdf

One of the oldest surviving photographs. This image is believed to be the second photograph ever taken and the first using a camera.

[View from theWindow at le Gras, Joseph Nicéphore Niépce 1826]

1822 contact

4

exemple de problème (difficile) : compenser un bougé ou un flou

5

TRAITEMENT NUMERIQUE DES IMAGESJ. Le Roux, SI 4/ MAM 4 Fév.- Mai 2012

1. Introduction à l’image numérique exemples de problème : l’amélioration d’images2. Filtrage convolution 2D (liens avec l’optique) Analyse en fréquence ; échantillonnage3. Contours, Régions4. Tomographie, imagerie médicale5. Reconnaissance d’images6. Divers problèmes d’analyse d’image télédétection remote sensing biométrie analyse d’images et robotique

6

1. Introduction à l’Image Numérique

Objectifs du coursIntensité, quantification ; couleursEchantillonnage (pixels) ; Exemple de pb : la rotation d’imagesListe de problèmes

Compression images fixes animéesAmélioration d’images LissageReconnaissance de formesImagerie satellitaire Images médicales

* représentation en perspective de l'intensité (bien voir les difficultés sur l'amplitude du signal) * il faut bien formaliser ce qu'on veut obtenir et modifier les méthodes académiques en conséquence si cela est nécessaire

7

2. Filtrage convolution 2D Analyse en fréquence ; échantillonnage Convolution (liens avec l’optique)

Sinusoïdes 2D orientation basses fréquences hautes fréquences

Transformée de Fourier 2D propriétés

Théorème de Shannon ; limitations en traitement d’images Gibbs, Franhaufer Airy

Transformée de Fourier discrète Transformée en cosinus (Compression jpeg)

la célèbre Lennaicône du traitement d’images ...

8

3. Contours Régions Les difficultés    * les détections de contours et les segmentations en région ne sont en général pas très performantes Que faire quand le résultat est décevant ? Faut il fermer les contours ? et isoler les régions ? attention aux objectifs à atteindre dans le problème posé

•Morphological image processing•SquelettisationRégions et texture Bruit de fond snakesLissage Amélioration d’images préservant les contours 

9

4. Stéréovision, Tomographieimagerie médicale détection de points caractéristiques appariement de points (stéréo, séquence vidéo)Vision stéréographique, profondeurInterférences vision en relief holographie    * Medical image processing    * Microscope image processing

www-physique.u-strasbg.fr/cours/lphys/Einstein_imageriemed.ppt

10

5. Reconnaissance d’images Théorie de la décision La difficulté pratique : très grande variabilitéDetection d’objets simples (transformée de Hough)* Computer vision    * Face detection    * Feature detection (reconnaissance) BiométrieAnalyse de scène en robotique

11

6.  Problèmes divers d’analyse d’images Images animées mpeg etc...    * image compression JPEG ondelettes    * images animées mpeg4 divx jerome rota    * H.264 ou AVC (Advanced Video Codec) http://fr.wikipedia.org/wiki/H.264Recherche du mouvementRemote sensing http://rst.gsfc.nasa.gov/ Problèmes inverses en traitement d’images

12

http://ia350625.us.archive.org/2/items/Lectures_on_Image_Processing/EECE253_01_Intro.pdf

http://www.archive.org/details/Lectures_on_Image_Processing

http://www.polytech.unice.fr/~lingrand/Ens/planTraitIma.html

http://arthur.u-strasbg.fr/~ronse/TIDOC/index.html

R.A. Peters,Vanderbilt University

http://www.ph.tn.tudelft.nl/~lucas/education/et4085/sheets/ppt/FIP2.2.pdf

Fundamentals of Image Processing

Ian T. Young, Jan J. Gerbrands, Lucas J. van Vliet

quelques références

cours de Diane Lingrand

13

Livres conseillés 

Olivier Faugeras,    with Nikos Paragios and Yunmei Chen * "Mathematical Models in Computer Vision", Springer, 2005edited Rafael C. Gonzalez, Richard E. Woods    * “Digital Image Processing” (2nd Edition) - - Addison-Wesley;http://www.imageprocessingplace.com/downloads_V3 /dip3e_downloads/dip3e_sample_book_material/dip3e_chapter_01.pdfBernd Jähne    * Practical Handbook on Image Processing for Scientific Applications - - CRC Press;Diane Lingrand,  "Introduction au Traitement d'Images" 2nd edition, Vuibert, Paris, France, feb 2008, ISBN : 2-7117-4866-9http://www.polytech.unice.fr/~lingrand/Ens/ImageProcessingCourse.html    * A course in english    * Books available on the web    * Computer Vision OnlineW. K. Pratt,     * "Digital Image Processing" by John Wiley & Sons, inc., Third Edition, 2001K.R. Rao, P.C. Yip -     * The Transform and Data Compression Handbook - CRC Press.http://rst.gsfc.nasa.gov/John C. Russ    * The Image Processing Handbook (3rd Edition) - - Springer;N. Short, “remote sensing turorial” http://rst.gsfc.nasa.gov/Alan Watt, Fabio Policarpo    * The Computer Image - - Addison-Wesley;

14

enhance contrast, remove noise, detect edges, segment an image into regions, thin regions, or perform skeletonization on regions. Morphological functions Erosion and dilation

Opening and closingWatershed segmentationReconstructionDistance transformDetect lines and extract lines segments

from an image using the Hough transformusing texture analysis functions

15

notions élémentaires sur l’image numérique une fonction scalaire ou vectorielle

de deux variables f(x,y)notions sur la vision humaine et les capteurs intensité, couleurs, quantification dans la rétine Echantillonnage (pixels) ;

histogramme des niveaux d’intensitéExemple de pb : la rotation d’images numériques

1.Introduction à l’Image numérique

16

Qu’est ce qu’une image numérisée (noir et blanc)? L’INTENSITE LUMINEUSE EST UNE FONCTION DE DEUX VARIABLES

),( yxf

x

y

17

il est très difficile d’interpréter le contenu d’une image en étudiant la fonction f(x,y) !il est parfois important de se rappeler que la machine ne ‘voit’ pas l’image comme vous

18

quelques notions de biologiede la vision

• couleurs

• l’œil

• la rétine

• les circuits neuronaux

19

Une image couleur f(x,y) est un vecteur à trois composantes

les chrominances peuvent souventêtre codées avec une précision moindre(p. ex. un échantillon sur 2)

20

ROUGEP 0 VERTP 0 BLEUP 0ROUGEP 1 VERTP 0 BLEUP 0ROUGEP 0 VERTP 1 BLEUP

une image couleur = trois intensités (rouge, vert, bleu ou combinaisons)

ROUGEP VERTP BLEUP

21

ROUGE VERT 0 BLEU0 ROUGE0 VERT BLEU0 ROUGE0 VERT 0 BLEU

une image couleur = trois intensités (rouge, vert, bleu ou combinaisons)

ROUGE VERT1 BLEU1

22

0 32 64 96 128 160 192 224 25650

0

50

100

150

200

250

gbleux 100

gvertx 100

grougex 100

x

f

génération des intensités RVB d’un arc en ciel

23

http://www.youtube.com/watch?v=p94yQ8cvTHg&NR=1

Annabelle - Serpentine Dance (1894) [Edison]

Premières colorisations de film

24

l’oeil

http://perso.id-net.fr/~brolis/docs/oeil/physio.html

125 millions de bâtonnets (intensité et vision nocturne)5 millions de cônes (couleur)

http://lecerveau.mcgill.ca/flash/d/d_02/d_02_m/d_02_m_vis/d_02_m_vis.html

http://www.pug.fr/extrait_ouvrage/Electure.pdf

25

http://www.futura-sciences.com/fr/doc/t/medecine-1/d/loeil-la-vision-au-dela-de-la-vision_667/c3/221/p5/

La métarhodopsine II produite par transformation de la rhodopsine sous l'effet de la lumière active une protéine : la transducine. Par la suite, les canaux Na+ des cellules réceptrices se ferment, provoquant une hyper-polarisation membranaire qui engendre un potentiel d'action électrique dans les cellules ganglionnaires.

Une protéine transmembranaire, l'opsine, sur laquelle vient se fixer un groupement le rétinène, qui n'est autre qu'un aldéhyde de la vitamine A ou rétinol subit l'arrivée d'un photon entre 650 et 400nm sur la partie rétinène de la rhodopsine qui passe alors de la conformation 11-cis à la conformation tout-trans (appelée métarhodopsine II).

26

quels sont les mécanismes mis en œuvre au niveau neuronal ?

recherches actuelles en neurologie :

ensuite : qu’est ce que la mémoire enregistre ?comment le cerveau compare-t-il une nouvelle image aux données mémorisées pour éventuellement reconnaîtreun objet en quelques centièmes de secondes

pour progresser : apport incontournable de l’imagerie médicale

p. ex : au premier niveau : détection de contours et de leur orientation

27

quantification numérique

• quantification en niveaux – en couleurs– traitements à base d’histogramme

rehaussement

• quantification spatiale

28noter l’effet de contraste près des transitions

29

KLIN

KLIN

pour chaque couleur l’intensité est en général codée sur un octet parfois 2

KLIN KLIN

KLINKLIN

1bit 2 3

456-8

30

31

modifier l’histogramme pour améliorer la qualité d’une image (contraste)

nombre de pixelsd’une intensité donnée(souvent un octet)

grande sensibilité des capteurs des appareils photos numériques

noirblanc

32

construire l’histogramme

choisir un pas de quantification

pour chaque niveau de quantificationcompter le nombre de pixel ayant ce niveau de quantification

modifier les niveaux d’intensité

par exemple pour augmenterle contraste

noir blancavant modification

blanc

aprè

s m

odifi

catio

n

a

a

33

34

35

échantillonnage des images

(nous reviendrons ultérieurement sur le théorème d’échantillonnage)

36

Abraham Lincoln [Salvador Dali, 1976]

formalisation rigoureuse (théorème de Shannon dans le cas des images)

Pixels ; échantillons

mosaïques

37

g g g

ggg de 4x4 à 128x128 pixels

38

Point Par Pouce

Unité de mesure de la résolution, utilisée principalement pour les écrans et les imprimantes. En français on parle de Points Par Pouce (PPP) ou de Pixels Par Pouce, ce qui est un peut différent, en anglais on parle de Dots Per Inch (DPI) ou de Pixels Per Inch (PPI). Note : un pouce (inch) vaut 2,54 cm.

Plus il y a de points par pouce, meilleure est la résolution d'une image. Les détails que l'on pourra voir seront plus fins.

Par exemple un écran classique peut afficher 75 pixels par pouce,

si on atteignait les qualités d’appareils actuels (12 millions de pixels p.ex.)on aurait de l’ordre de 250 pixels par pouce (10 pixels par mm qualité comparable à la photographie argentique)

39

quantité d’information contenue dans une image(sans compression)

images animées

quelques millions de pixels par image

trois couleurs

huit bits par couleur

24 ou 25 images par seconde

pixels

couleurs

niveaux de quantificationde l’intensité

une photo = quelques dizaines de millions de bits

un film de 1h30 = 10 térabits (dix mille milliards)

une page d’écriture = 40x60 caractères = vingt mille bits

un livre = quelques millions de bits

un cd audio = 10 milliard de bits

40

enhance contrast, remove noise, detect edges, segment an image into regions, thin regions, or perform skeletonization on regions. Morphological functions Erosion and dilationOpening and closingWatershed segmentationReconstructionDistance transformDetect lines and extract lines segments from an image using the Hough transformtexture analysis functions

41

télédétection

42

Attention aux fausses interprétations (face on mars)

43

44

surveillanceremote sensing

détection intelligente de mouvement

45l’importance du contexte dans l’interprétation d’une image

46

47

analyse de l’extension d’un feu de forêt

48

BIO

ME

TR

IE

49

BIG BROTHER IS WATCHING YOU

50

la géométrie de l'oreille, méthode parfois utilisée par la police, la démarche (vitesse, mouvements du corps, …), l'odeur corporelle, l'analyse des pores de la peau, la thermographie faciale, les ongles, l'irrigation sanguine ...

51

52

contours haut et bas

segmentation

reconnaissance des « segments » dans une basede segments mémorisés et de leurs enchaînements(modèles de markov)

Abdenaim EL YACOUBI (la poste nantes)ftp://ftp.irisa.fr/local/IMADOC/lorette/elyacoubi/MOUNIM.PPT

exemple de reconnaissance d’écriture manuscrite

53

comment reconnaître automatiquement le visage malgré les mimiques,les variations d’éclairage, le bruit, les données manquantes, etc...

reconnaissance de visages

qui c’est ?

54

55

qu’est ce que c’est ?

56

• une très grande variété d’algorithmes et d’applications ; toutefois la première étape est souvent basée sur un filtrage linéaire ou une analyse en fréquence

• des problèmes concrets difficiles, car une multitude de causes de variations d’une image à l’autre

• encore beaucoup de recherches pour arriver à comprendre les processus mis en jeu dans le cerveau