La COULEUR dans les IMAGESEt Indexation par le Contenu

• Patrick Bonnin� Institut des Sciences et Techniques des Yvelines ISTY� Laboratoire d’Ingénierie des Systèmes de Versailles� Université de Versailles Saint Quentin UVSQ

LA COULEUR : notion de Physique

• Scène :�Objets 3D,�Sources Lumineuses,�Caméra (s) ou Observateur(s)

• Objets :�Absorbent, diffusent, réfléchissent, diffractent la lumière,

selon leur état de surface, texture, couleur ….• Couleur dans l’Image :

�Projection de l’objet coloré de la scène�Cf Synthèse d’Images

• Colorimétrie : Science de la Mesure des Couleurs :�A un stimuli visuel correspond 3 valeurs uniques

• Observateur Colorimétrique de Référence :�1931 par la CIE : Commission Internationale de l’Eclairage,�Statistique, sur un grand nombre d’observateurs,�Disparités faibles, SAUF si anomalie dans la perception.

Physiologie du Système Visuel Humain : les Photo-Récepteurs

• Bâtonnets : Vision Nocturne ou Scotopique�100 millions,�+ petits, MAIS 10 fois plus sensibles que les cônes,�Répartis autour des cônes

• Cônes : Vision Diurne ou Photopique : Perception Tri Valente�4 à 7 millions, de 3 types : LMS (Long, Medium, Short),�Long : 560nm : Rouge,�Medium : 530 nm : Vert,�Short : 420 nm : Bleu

Unités Photométriques

Synthèse des Couleurs

• Hypothèse de la Colorimétrie Trichronique�Luminance d’un Mélange = somme des Luminances,�Reconstruction = Synthèse Additive,�Additive : Moniteurs, Vidéo Projecteurs,�Soustractive : Peinture, Impression Papier

Perception des Couleurs

• Spectre des Couleurs Perçues :�Couleurs Pures,�Couleurs Usuelles

Espace Couleur RVB

Image RVB Composante R Composante VComposante B

• Format « Intuitif » :�Composantes dans les 3 couleurs de base : R,V,B,

• Images Monospectrales « Similaires » :�Segmentations Monospectrales identiques,

• Sensible aux Variations de l’Eclairage :� Idem pour les 3 bandes

Expériences de Perception des Couleurs

• Synthèse Additive:�S(λλλλ) = r(λλλλ)R + g(λλλλ)G + b(λλλλ) B,�Fonction Colorimétriques de

l’observateur de référence• Partie Négative de : r(λλλλ)

�Pas possibilité de synthétiser la couleur,

�Égalité obtenue en additionnant du rouge au stimuli à réaliser

S(λλλλ) + r(λλλλ)R = g(λλλλ)G + b(λλλλ) B• Nouvel Espace Colorimétrique

Primaire : XYZ CIE 1931• Couleurs Réalisables :

Espace Colorimétrique Primaire XYZ CIE 1931

• Synthèse Additive:�S(λλλλ) = x(λλλλ)X + y(λλλλ)Y + z(λλλλ) Z,�3 Primaires « Imaginaires »�Pas de partie Négative�Toutes les couleurs pures sont dans

ce triangle.• Transformation Matricielle RGB - XYZ

�Coordonnées Normalisées :

Addition des Couleurs : Espace x,y à Z = cte

• Couleurs Réalisables : Triangle de Maxwell �À partir des primaires R,V,B,�Les autres couleurs sont Imaginaires

• Principe d’Addition�Coordonnées Barycentriques

• L’Espace X,Y,Z contient l’ensemble des Couleurs Pures

L’Expression Subjective de la Couleur

• Perception Humaine : Luminosité, Teinte, Saturation• Luminosité ou Luminance : lightness, brightness

�Correspond à la sensation : Claire, Foncé ou Terne d’une couleur, => Surface S(λλλλ) = f(λλλλ)

• Teinte : Hue �Tonalité chromatique : rouge, vert, bleu, jaune, pourpre�Teinte : Longueur d’onde dominante : 620nm ci-dessous

• Saturation :�Côté plus ou moins délavé : pâle ou vif! Lié au % de blanc.

• Œil : capacité de distinction :�128 Teintes,�20 Saturations… Seulement !

Autres Types d’Espaces ColorimétriquesUn Certain nombre d’Espaces !!!

• 4 principaux types d’Espaces Colorimétriques�Primaires : RVB, XYZ �Luminance – Chrominance�Perceptuels : Luminance – Teinte – Saturation�D’Axes Indépendants

• Espaces Luminance - Chrominance : Y Cb Cr�Liés aux standard TV, se prêtent à la compression sur la

Chrominance. L’œil est moins sensible à la Chrominance !�YIQ : norme NTSC, �YUV : norme PAL,�YDbDr : norme SECAM,�La*b*, Lu*v*

• Espaces Luminance – Teinte - Saturation�Espaces Perceptuels : proches de la perception humaine.�HSV, HSL, TLS,LCH etc … formulations différentes !

• Espaces « Complexes »�Hybrides des autres … jusqu’à 10 axes (au lieu de 3 !)

Espaces Perceptuels

• Proches de la Perception Humaine�Luminance, Teinte, Saturation :

expressions subjectives humaines !�Distance entre couleurs, correspond à

notre perception.• Passage en Coordonnées Cylindriques

�Luminance : Vertical �Teinte : Angle, plan horizontal,�Saturation : distance par rapport à

l’axe�Différence HSV (haut) et HSL (bas)

Exemple de l’Espace IHS (Thèse Fang ZI)

Autre Exemple de l’Espace HSI et HSV (Thèse Thomas Costis)

• Attention : Variantes !!�Avec sqrt(3) !

• Calculs Lourds !� Impossible à

réaliser sur tous les pixels de l’image, en temps réel, avec une faible puissance de calcul !!!

Autre Exemple de l’Espace HSI et HSV (Thèse Thomas Costis)

• Modélisation�HSI, HSV

• Calcul de H�Algorithme

Conversion inverse : HSV - RGB

• Composantes Normalisées :� r,g,b

Luminance, Teinte et Saturation : En Pratique, grâce à Paint

LuminanceTeinteSaturation

Luminance, Teinte Constantes et Saturation Variable :

Saturation Saturation Saturation Saturation

Teinte Teinte Teinte TeinteLuminance Luminance Luminance Luminance

Luminance, Saturation Constantes et Teinte Variable :

Saturation Saturation Saturation Saturation

Teinte Teinte Teinte Teinte

Luminance Luminance Luminance Luminance

Teinte, Saturation Constantes et Luminance Variable :

Saturation Saturation Saturation Saturation

Teinte Teinte Teinte TeinteLuminance Luminance Luminance Luminance

Espace Couleur YUV : Standard PAL

• Séparation : Luminance - Chrominance :�Y : Luminance,�U et V : « pseudo » Chrominance, �U: Différence des Rouge, V Différence des Bleus

• Images Monospectrales « Différentes » :�U et V : plus bruitées,

• Moins Sensible aux Variations de l’Eclairage :�Sensibilité quand même : transformation linéaire !!!

• Espace Important :�Sortie de nombreux drivers de caméras !!!

• Matrices de Transformation Normalisées RVB<=>YUV : (source SONY doc caméra de AIBO)Y= 0.3R + 0.59G + 0.11BU = R - Y = 0.7R - 0.59G - 0.11B (Différence des Rouges)V = B - Y = -0.3R - 0.59G + 0.89B (Différence des Bleus)

R = Y + UG = Y - (0.3/0.59)U - (0.11/0.59)VB = Y + V

• Transformation Réelle : codée : 0 - 255:Y= 0.3R + 0.59G + 0.11BU = 128.0 (0.7R - 0.59G - 0.11B )/255.0 + 128.0V = 128.0 (-0.3R - 0.59G + 0.89B )/255.0 + 128.0

R = Y + 255.0 U /128.0 – 255.0B = Y + 255.0 V /128.0 – 255.0G = Y - (0.3*255.0/(0.59*128.0))U - (0.11*255.0/(0.59*128.0)V + 0.41*255.0/0.49

Le Format YUV

255

1.0

RGBY normalisés

RGBY dans l’image

Les Formats YUV : Compression des Bandes U et V

• Œil : Sensible Luminance, mois à la Chrominance• Compression peu Visible à l’Oeil• Compression des bandes U et V :

�Quantifie le rapport à la Luminance,• Diverses Possibilités : compression

�4.2.2 : ordre des pixels Y1U1Y2V1...�4.1.1�4.2.0

Exemple de Traitement d’une Image YUV comprimée 4.2.2

• Changement d’Espace : RGB ���� YUV� Transformation Matricielle entre espaces 3D : Long !� A réaliser en chaque Pixel !!!

• Traitement Temps Réel Embarqué :� Impossibilité d’effectuer cette Transformation� Sortie Caméra : YUV => Traitements en YUV

• Exemple : Sortie YUV : comprimée 4.2.2� Décompression NAO : 50 ms !!! Refaire les pixels manquants� Traitement en format comprimé

• Sortie YUV : comprimée 4.2.2 : Récupération des Infos de Chrominance :� Flux Vidéo : ….Y1U1Y2V1 …pour 2 pixels� n : numéro du pixel = y * ncol + x (ncol pair : 640, 320, 160)� Y(n) = Buf + 2 * y * ncol + x� U(n) : si n pair : = Y(n) + 1, sinon = Y(n) – 1� V(n) : si n pair : = Y(n) + 3, sinon = Y(n) + 1� Equivalent : zoom 2 par duplication sur U et V !

• Classifieur Parallélépipédique:� 1 parallélépipède par

couleur � Pas assez Précis

• Classifieur SONY : Matériel de Détection des Couleurs sur AIBO :�1 Couleur = 32 parallélépipèdes�8 niveaux de gris selon Y �32 x 4 paramètres à régler par

couleur,�Fusion «Pixel» : classification

couleur en fonction des valeurs YUV, Fusion Bas Niveau : Temporellement très performante

� Idem en logiciel

Y

U

V

255

255

32

Umin Umax

Vmax

Vmim

Classifications Couleur dans l’Espace YUV

• 1 Couleur :� Nuage et Modélisation

• les Couleurs de la RC :� Intersections entre

couleurs

Classification SONY des Couleurs dans l’Espace YUV

• Scène d’Intérieur : Plateau de Spectacle– 4 Projecteurs de 1200W incidence oblique,– Homogène : 4500K et 580 Lux!

• Luminosité trop Intense :– Saturation des Capteurs,– Ombres Portées,– Reflets,– Confusion entre les diverses couleurs

• Différents Aspects des Eléments de la Scène, fonction de leur position sur le terrain, et d’où ils sont observés.

Analyse des Principaux Problèmes : l’Eclairage

• Problème « Important »:� Concerne une grande partie de l’Information� Réduit l’Information « Utile »

Problème de Confusion des Couleurs

• Problème génant pour toutes les équipes :� Mauvais comportement des Robots : Balle vue dans le but !

• Notre Solution : Les Composantes Connexes Confuses� Traiter une couleur confuse, comme une couleur à part,� Extraire les Composantes Connexes de cette Couleur,� Décider en Final de la couleur à Attribuer,� Fusion de la Composante Confuse, à la composante non

confuse de même couleur, voisine• Critère de Décision :

� Nombre de pixels voisins de la composante confuse (obtenu par dilatation), en majporité d’une des deux couleurs

� Technique de vote (Hough !)

Résolution du Problème de Confusion des CouleursLes Composantes Connexes Confuses

Sans le Traitement des CC Confuses

Avec

Exemple de Détection de la Balle

Résolution du Problème de Confusion des Couleurs :Résultats

• Mal réussi par quasiment toutes les équipes :� Faire varier les conditions d’éclairage en fonction du temps,� Un robot AIBO devait jouer et marquer des buts …

• Notre Analyse� Ne plus utiliser de classification locale, de pixels en couleur,� Utiliser une croissance de régions, classification globale des

régions, moins sensible� Difficulté, à cause du manque de puissance disponible : sous

échantillonnage de l’image• Etude German Team:

� En YUV, les couleurs s’enroulent selon une hélice autour de l’axe Y en fonction de la luminuosité, idem en extérieur.

� Les couleurs sont toujours dans le même sens dans cette hélice

� Prendre en référence le vert du terrain, toujours présent en bas…

• Généralisation:� En changeant d’espace colorimétrique …

Challenge Vision en RoboCup

• A priori un espace « Perceptif » est plus approprié:� Sépare la Luminance, de la teinte et de la saturation… � Également plus proche de la Perception Humaine

• Classification Couleur :� Autre classification : dans ce nouvel espace,� En fonction de la Répartition des Points d’une Même Couleur

• Retour à l’Espace YUV ensuite :� Génération d’une LUT en YUV

Invariance par Rapport aux Conditions d’Eclairage :Recherche de l’Espace Colorimétrique Approprié

• Détermination Manuelle :� Opérateur, non assisté ici … � Assistance possible : à l’Aide s’une segmentation

Exemple de Zones Test (Thèse Th Costis)

• Classification dans HSI:� Couleur : Portion

de l’Espace limitée par 6 plans,

� Peu de paramètres…

Classification Automatique dans l’Espace HSI : Th Costis

Comparaison des Classifications YUV et HSIRobustesse en Fonction des Variations d’Eclairage

Comparaison des Classifications YUV et HSIRobustesse en Fonction des Variations d’Eclairage

• Comparaison :� Des Espaces Colorimétriques … certes, MAIS� Également de la Classification associée…� Classification HSI => LUT YUV : Hors Ligne,� Même rapidité : car classification dans YUV par LUT

• Classification HSI :� Relativement simple : 6 plans, au lieu de 32

parallélépipèdes dans l’espace YUV• Conclusion :

� Résultat bien meilleurs : plus grande robustesse à la variation de l’éclairage,

� Néanmoins, il est beaucoup plus robuste de classifier en couleur une région (ou ensemble de pixels connexes) que les pixels pris séparément !!!

Comparaison des Classifications YUV et HSIRobustesse en Fonction des Variations d’Eclairage

CONCLUSION

RVB

R V B

RVB

R V B

Lissage Lissage Lissage

• Pour les Lissages en RVB:� Séparation des plans,� Traitements N&B

indépendants…� Regroupement de l’image

RVB• Lissages en Espace Autre :

� Idem, car les traitements sont indépendants …

Généralisation des Traitements N&B à la CouleurTraitements de Bas Niveau : Lissages d’Images

• MultiSpectrales :� Peut être RVB, mais également IR, radar etc …� « Registration » : calibration pixel à pixel : chaque pixel

des différentes bandes spectrales voit la même zone de l’espace 3D

• Couleur :� RVB, mais également les différents espaces …

• Primitives MultiSpectrale ou Couleur :� Mêmes types qu’en imagerie Monospectrale ou N&B :

Point d’Intérêt, Contours (diverses possibilités), Régions.� Regroupe les informations multispectrales et ou couleur.

• Définition :� Par extension des définitions en imagerie N&B

Primitives Multi-Spectrales ou Couleur

• Région MultiSpectrale et/ou Couleur :� Zone homogène de l’Image …� Homogénéité dans tous les plans : multispectral ou couleur,� ET LOGIQUE des critères d’homogénéité,� Extension très simple, pour RVB, simple pour YUV ou

autre, par ex : LTS.

Adaptation de la Segmentation Région

Détectionde Régions

N&B

Rouge

Vert

Bleu

Détectionde Régions

Définition des Primitives Multi-Spectrales ou CouleurLa Primitive Région

Exemple de Segmentation en Région CouleurTemporellement Optimisée

• Deux Premières Etapes non Supervisées :�Croissance Hiérarchique et Pyramidale,�Croissance Hiérarchique et Flot de Données,

• Chaque Etape comporte 3 niveaux distincts: �Pyramidal : 3x3, 9x9, et 27x27,�Flot de Données : 27x27, 9x9 et 3x3

• Une Etape Supervisée: en option�Classification Couleur des Régions,�Fusion sur Critère de Classification.

• Effectue une Croissance Parallèle et Isotrope, et garde en mémoire les paramètres des régions initiales 3x3 voisines pour la fusion des régions:

• Valable :�Noir et Blanc,�Couleur RGB,�Couleur YUV, LTS etc …

Croissance Pyramidale

Régions 3x3

Régions 9x9

Régions 27x27

• Deux Paramètres par plan :�seuil local entre intensité des pixels : regroupement 3x3,�Seuil global entre moyennes des régions initiales : autres regroupements

Croissance Pyramidale

� Tous les pixels d’une région carrée ne sont pas nécessairement tous regroupés : la taille 3x3, 9x9 et 27x27 est le maximum.� Il reste des Pixels isolés,� La Connexité est Testée pour chaque Fusion

Croissance « Flot de Données » :Régions Testées et Critères de Connexité

�Critère d’Intensité :Moyenne des intensités des Régions Initiales 3x3� Critère de Connexité :Présence de 2 pixels adjacents

Croissance Pyramidale : en Image

Image Originale

Regroupement 3 x 3

Regroupement 9 x 9

Regroupement 27 x 27

Principe du Regroupement Pyramidal « Data Flow»:

• Régions Initiales :�Régions 27 x 27

Regroupement « Data Flow» : en Image

Image Originale

Regroupement 27 x 27

Regroupement 9 x 9

Regroupement 3 x 3

Regroupement Supervisé « Couleur »

• Basé sur la Classification Couleur des Régions :�Classification Sony YUV,�Mais possible avec toute autre classification, telle que

HLS,• Segmentation « Supervisée », par la classification. • Même étape que pour la croissance Pyramidale 9x9:

�MAIS: Si les régions initiales 3 x 3 adjacentes testées sont de la même couleur :

= >Les Régions auxquelles elles appartiennent sont fusionnées

Regroupement Couleur: en Image

Segmentation Non Supervisée

Segmentation avec le Regroupement Couleur: Les ombres sont regroupées

Autres Résultats : Segmentation Supervisée RoboCup

Résultat de la Segmentation en Régions Couleur : Non Supervisée

• Bon comportement, même sur des images d’extérieur, plus complexes !

Retour sur les Paramètres de Contrôle

• Deux paramètres de Contrôle par plan, que l’on peut réduire à un :�Le second paramètre : seuil sur les moyennes, est plus

tolérant que le seuil sur les différences d’intensité.• 3 plans que l’on peut réduire à un également :

�Pour RVB : même paramétrage,�Pour YUV : même paramétrage pour U et V, plus

tolérant que pour Y,�Pour LTS, à étudier, mais même principe : réduction du

nombre de paramètres• Intérêt de la Diminution du Nombre de Paramètres:

�Auto-ajustement des paramètres, en fonction des conditions d’éclairage, pour des applications en environnement extérieur, sur une longue période.

Segmentation avec Changement d’Espace Colorimétrique

• Changement d’Espace à Bas Niveau :�En chaque pixel : Long !! N x M pixels (taille de

l’image!)�Segmentation puis Classification dans le Nouvel Espace,

• Après une Segmentation en Régions : �Segmentation en Régions dans l’Espace original,�Calcul des Attributs Photométriques dans le Nouvel

Espace uniquement des régions constituées : quelques centaines de régions au maximum,

�Classification dans le Nouvel Espace,�Hypothèse : Segmentation en Régions possible dans le

Nouvel Espace !

• Contour MultiSpectrale et/ou Couleur :� Zone filiforme de transition entre deux zones homogènes de

l’Image …� Point de Contour : point siège de différences locales, dans

au moins l’un des plans multi-spectraux / couleur,� Nécessite une étape supplémentaire de fusion des gradients

des plans spectraux en un gradient multispectral.

Adaptation de la Segmentation Contour

« Gradient »

N&B

« Gradient »

Rouge

« Gradient »

Vert

« Gradient »

Bleu

Affinage,Chaînage

Affinage,Chaînage

Fusion

Définition des Primitives Multi-Spectrales ou CouleurLa Primitive Contour

RVB

R V B

||Gr|| Arg(Gr)

Gradient Gradient Gradient

||Gv|| Arg(Gv) ||Gb|| Arg(Gb )

||Gc|| A r g(Gc)

Fusion

• Fusion du Gradient:� Gradients R,V,B, soit

6 images� gradient couleur : 2

images,� Gradient Couleur :

Même nature qu’un gradient N&B,

� Même suite des Traitements,

� Mêmes paramètres de contrôle

• Espace autre que RVB:� Méthodologie

Identique

Exemple Simple : Contour en RVB : Etape de Fusion des Gradient

Image Couleur

Kirsh à 4 Directions

Argument du Gradient Rouge

Norme du Gradient Rouge

Plan Rouge

Plan Rouge Lissé

Argument du Gradient Vert

Norme du Gradient Vert

Plan Vert

Kirsh à 4 Directions

Plan Vert Lissé

Lissage Optionnel

Kirsh à 4 Directions

Argument du Gradient Bleu

Norme du Gradient Bleu

Plan Bleu

Plan Bleu Lissé

Separation des Plans

Seuillage sur la Norme du Gradient

Calcul du Gradient Couleur

Argument du Gradient Couleur

Norme du Gradient Couleur

Premiers Points de Contour Couleur

Affinage

Points de Contour Couleur

Prolongation des Contours

Points de Contour Couleur

Chaînage des Contours

Etiquettes des Contours Couleur

Points de Contour Couleur

Structure de Données desContours Couleur

Lissage Optionnel Lissage Optionnel

Exemple Simple : Contour en RVB

Exemple Simple : Contour en RVB : Etape de Fusion des Gradient

Extraction de Contours en Imagerie Couleur… en Image

• Ne pas Comparer des Données Inhomogènes :� Ex : Uet V n’ont pas de rapport avec Y, et sont plus bruitées.� Idem : RVB, et IR ou Radar en Multi-Spectral

• Gradient YUV :� = gradient de la composante Y, si gradient suffisant,� = max du gradient des composantes U et V sinon.

• Affinage :� Ne conserve que le pixel de norme de gradient maximale,

dans la direction du gradient,� Nécessite la comparaison de la norme du gradient entre deux

pixels• Comparaison des norme de Gradient YUV : Priorité Y

� Si les deux gradients en Y sont suffisants : comparaison dans le plan Y,

� Si seulement l’un des deux : le plan Y est prépondérant,� Si aucun des 2 : Comparaison des gradients des plans U et V

Exemple Complexe : Contour en YUV ou MultiSpectral :

• En Multi-Spectrale : Notion de Pertinence : Transformée de Hough� Impossible de comparer les gradients : Visible, IR, Radar,� Affinage dans chacun des plans, et second affinage sur la

pertinence,� Pertinence : Nombre de plans dans lequel le point est de

contour en mono spectral : technique de vote = Transformée de Hough !!

• Second Affinage : sur la Pertinence :� Affinage, mais la Pertinence à la place de la norme du

gradient.• Méthodes plus complexes : classiques en Fusion de Données.

� Logique floue,� Probabilité, Possibilités …

Exemple Complexe : Contour en YUV ou MultiSpectral(suite et fin)

• Optique de Bas Coût :� AIBO ERS7 : 1000€� Halo bleu autour de

l’image … � Aberration radiale,

croissante en fonction du rayon

Aberration Chromatique

• Image d’une Zone Uniforme de la Scène:� Généralement : Région Blanche,� Référence : Valeur au Centre de l’Image,� Recherche, par un moindre carré, d’une déformation

polynomiale en r.

Quantification de l’Aberration ChromatiqueTh Costis : Equipe : Les 3 Mousquetaires

Quantification de l’Aberration ChromatiqueTh Costis : Equipe : Les 3 Mousquetaires

• Décriée par certains labos …:� Utilisation de caméras à qq milliers d’€ !,

• Intérêt Economique :� Permet l’utilisation d’une caméra à bas coût,� Produit moins cher : exemple robot de compagnie (jeu,

MAIS également d’assistance à personnes âgées, handicapées etc …)!!!

Intérêt d’une Telle Recherche

Indexation par le Contenu

• Existence d’Importantes Bases de Données Image :� Organisation, pour accès rapide� Recherche rapide, accès au contenu de la Base de Données,

• Avant : Indexation par Annotations Textuelles :� Recherche par mots clefs, titre, auteur etc… � Long et coûteux, subjectif, pb de changement de langue,

• Recherche par le Contenu Visuel :� Requête : une image donnée,� Recherche des images similaires de la Base de Données,

• Deux Types :� Recherche par mesure de similarité,� Bouclage par Pertinence : Recherche par Apprentissage.

L’opérateur classe les images ramenées : pertinentes, non pertinentes. Intégration de cette annotation dans la mesure de similarité,

Principe d’un Système d’Indexation par le Contenu

D’après Thèse P.Thirilly

Indexation par le Contenu

• Utilisation : « Système Industriel »� Contrôle de la Diffusion vers l’extérieur des images

confidentielles de l’entreprise,� Vérification des images sur les sites web tiers : détection

des copies partielles ou totales,• Utilisation : « Robotique »

� Le robot dispose d’un certain nombre de prises de vues de son environnement,

� S’il est perdu : il fournit au système ce qu’il voit : le système fournit l’image la plus semblable : localisation grossière…

• Critères :� Pertinence et Robustesse des Retours,� Rapidité de la Recherche,

• Eléments Clefs pour l’Image:� Attributs Significatifs : Couleur / Texture / Forme,� Métrique de Similarité, ou Différence

Descripteurs et leur Utilisation

• Couleur :� Histogramme : distance entre histo,� Moments Statistiques : moyenne, écart type, 3èmeordre� Quantification : Palette des Couleurs

• Forme :� Points d’Intérêt (Harris, SUSAN …) + descripteur de

forme (moments de Zernike), ou association RANSAC• Texture :

� Matrices de Co-Occurrence, Auto-Corrélation• Classification de la Base de Données :

� recherche des attributs les plus discriminants,� Organisation de la Base de Données en Fonction de ces

Attributs => Organisation en Classes, Sous Classes, Sous-Sous Classes etc … HORS LIGNE : algorithmes complexes

� Rapidité de la Recherche : EN LIGNE : la requête n’est pas comparée à toutes les images, mais orientée vers la classe, puis la sous classe et …etc les images de descripteurs les plus proches.

Différents Corpus et Similarités (P.Tirilly)

Différents Corpus et Similarités (P.Tirilly)

Pour obtenir des Informations plus Locales (P.Tirilly)

Décrire les Images comme des Textes Mots Visuels de Sivic et Zisserman (P.Tirilly)

Recherche d’Invariant par Transformations Géométriques:Axes Principaux (P.Tirilly)

Exemple : Challence « TechnoVision »Reconnaissance d’Images Transformées

Exemple : Challence « TechnoVision »Reconnaissance d’Attributs

Exemple : Challence « TechnoVision »Reconnaissance d’Attributs

Exemple : Challence « TechnoVision »Reconnaissance d’Objets