Image Processing and Understanding Applications

Mokhtar TAFFAR Computer Sc. Department

University of Jijel

mokhtar.taffar@gmail.com

Cours Master 2 -IA, oct.-21, Dpt Informatique, Univ. Jijel

Plutôt de l’Analyse (Vision) que de la Synthèse !

• Analyse d’image Permettre à un système (visuel) de comprendre automatiquement ce que contient une image (détecter, localiser, reconnaître et/ou identifier les contenus –objets visuels, existant dans la scène de l’image). Ex., médecine, suivi de cible militaire, …

• Synthèse d’image C’est construire une image à partir d’un ensemble d’objets (présents dans d’autres images ou intégrer virtuellement). Ex., jeux vidéo, match télévisé, …

2

Analyse

- 2 femmes (1 assise et 1 debout) - 1 enfant - 1 arbre - 1 maison - Décision : maison + Jardin

Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21

Mokhtar TAFFAR

Principe : à partir d’une scène, simple ou encombrée du monde, capturée en image 2D, une information utile est automatiquement extraite et analysée.

Il s’agit de développer des bases théoriques et algorithmiques ou encore construire des modèles

3 Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21

Mokhtar TAFFAR

Image Analysis, en anglais

Analyse de Formes (Pattern Analysis)

Analyse de Scènes (Scene Analysis)

Vision par Ordinateur (Computer Vision)

Machine Intelligente (–par Vision)

Comprehension d’Image (Image Understanding)

Reconnaissance de Forme (Pattern Recognition)

Détection, Segmentation et Reconnaissance d’Objets

Reconnaissance = Classification 4 Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21

Mokhtar TAFFAR

Soucieuse de concevoir des systèmes intelligents et d'étudier les aspects informatique de l'intelligence

Domaine dans lequel on analyse des scènes par le calcul de représentation symbolique du contenu des images/vidéo après que celles-ci ont été prétraitées pour obtenir les caractéristiques

Vision par ordinateur est un sous-domaine de l’IA : donc la matière à traiter, c’est spécialement : Image & Vidéo

De nombreuses techniques de l’IA joue un rôle important dans plusieurs aspects de la vision par ordinateur

Mokhtar TAFFAR

Au début : 2 disciplines Traitement d’Images (Image Processing)

Reconnaissance de Forme (Pattern Recognition)

Plus tard (depuis les années 90) : diverses disciplines (Pré-)Traitement d’image (Opérateurs de bases : binarisation,

morphologie, …)

Analyse d’images, mission de vision et de reconnaissance des objets (algorithmes : détection, classification, segmentation,…)

Synthèse d’image et réalité virtuelle ou augmentée

Mokhtar TAFFAR

Amélioration de l’image (Image Enhancement)

Restoration d’image (Image Restoration)

Ex., correction des images hors focal. Mokhtar TAFFAR

A une très longue histoire (travaux de recherche dans ce domaine ont commencé dans les années 60).

S’intéresse à la reconnaissance des 0bjets 2D par classification de leurs formes, spécialement sur les images 2D(plus tard 2.5D et 3D)

Plusieurs approches classiques fonctionnent seulement sous des vues très contraignantes (non convenable pour les objets 3D)

D’intense recherches ont conduit, de nos jours, à la vision par ordinateur

Plusieurs principes de reconnaissance de formes sont utilisés en vision par ordinateur

Mokhtar TAFFAR

La vision par ordinateur appliquée à d’autres domaines : ex. la robotique :

Navigation de robots autonomes

Inspection et assemblage en industrie, …

Reconnaissance et

détection de visages

Mokhtar TAFFAR

Il s’agit d’un mappage de un-à-plusieurs :

Dans la transformation d’un monde 3D à une image 2D, une grande quantité d’information est perdue : ce mappage a une solution non-unique

Sous différentes conditions de point de vue et d'éclairage, une même surface, avec des propriétés géométriques et matérielles, pourrait conduire à des images (interprétations) distinctes

De même, un mappage de plusieurs-à-un : sous différentes conditions, une variété de scènes, pourraient conduire à des images (interprétations) identiques

Il y a un calcul intensif à satisfaire

Souvent une mal compréhension du problème de la reconnaissance

Mokhtar TAFFAR

Traitement de bas niveau Procédures standard sont appliquées pour améliorer la qualité de l'image

Procédures ne nécessitant aucune capacité intelligente

Mokhtar TAFFAR

Traitement de niveau intermédiaire Extraire et caractériser les composants dans l'image

Certaines fonctionnalités intelligentes sont nécessaires

Mokhtar TAFFAR

Traitement de Haut-niveau Interprétation et reconnaissance.

Procédures nécessitant des capacités intelligentes élevées.

Mokhtar TAFFAR

Univ. Jijel, Dpt Informatique, Cours Master 2 -IA, oct.-21 15

Compréhension du problème puis Interprétation de scènes une tâche facile pour les humains, même les scènes les plus brouillées et complexes.

Mokhtar TAFFAR

Comment est-on capable de discerner la réalité et une image de la réalité ? Quels indices sont présents dans l'image ? Quelles connaissances utilisons-nous pour traiter cette image ?

Mokhtar TAFFAR

C’est quoi cet objet ? Est-ce que la couleur joue un rôle dans la reconnaissance ? Serait-ce plus facile à reconnaître à partir d'un point de vue différent ?

Mokhtar TAFFAR

La caractéristique texture de l’image peut facilement et volontairement nous aider à reconnaître les objets.

Mokhtar TAFFAR

La forme véhicule-t-elle une connaissance sur la nature de l’objet ?

Mokhtar TAFFAR

L’assemblage de quelques caractéristiques est-il porteur d’information?

Mokhtar TAFFAR

Inspection industrielle / Contrôle qualité

Surveillance et sécurité

Biométrie : Reconnaissance faciale (Face recognition), …

Reconnaissance des gestes humains (Gesture recognition)

Analyse des images médicales (scanner, tumeur, virus, …)

Compréhension de la vidéo (Video Understanding)

Véhicules autonomes (Autonomous vehicles)

Applications : du spatiale (image solaire) à la cellule (génome)

et virus

Réalité virtuelle ou augmentée et

…. Bien plus encore ….

Mokhtar TAFFAR

Reconnaissance: plaques minéralogique et plaques de signalisation

routière,…

Mokhtar TAFFAR

Un domaine de l’OCR (Optical Character Recognition)

Reconnaitre : les lettres : consonnes ou voyelles, mots, phrases, …

Mokhtar TAFFAR

Minuties

Triangulation de Delaunay

Matching

Caractéristiques utilisées

en empreinte digitale

Mokhtar TAFFAR

Vue de référence 1 Vue de référence 2

Nouvelle vue reconnue

Mokhtar TAFFAR

Recherche des images par le contenu Forme (Shape content)

Mokhtar TAFFAR

Indexation et recherche par la Couleur et Texture (motif)

Mokhtar TAFFAR

Ministère de la défense (Armée de terre, de l’air, Forces Navales)

Mokhtar TAFFAR

L’interprétation des photographies aériennes est un problème rencontré à la fois en : Vision par ordinateur et photogrammétrie

Mokhtar TAFFAR

Sous-marin, spatial, robot de désamorçage, véhicule,…

Mokhtar TAFFAR

http://www.google.fr/url?url=http://videos.tf1.fr/auto-moto/voiture-autonome-google-les-premiers-prototypes-roulent-deja-8426007.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=j6gNVJeMFovLaNv0gbgK&ved=0CBgQ9QEwAQ&usg=AFQjCNEi61XJLnsgiDwM7vKwnrucxZHI8Q

http://www.google.fr/url?url=http://www.themavision.fr/jcms/rw_348846/le-vehicule-autonome-avance&rct=j&frm=1&q=&esrc=s&sa=U&ei=j6gNVJeMFovLaNv0gbgK&ved=0CBoQ9QEwAg&usg=AFQjCNGDwIDSuD_rACvkm0XXGEr9hXPSXg

http://www.google.fr/url?url=http://www.humanoides.fr/2012/09/26/feu-vert-pour-les-voitures-autonomes-en-californie/&rct=j&frm=1&q=&esrc=s&sa=U&ei=j6gNVJeMFovLaNv0gbgK&ved=0CCgQ9QEwCQ&usg=AFQjCNGzukMHFcufjpzVGxNvxc5mygSz5A

http://www.google.fr/url?url=http://shyrobotics.com/sauc-e-le-concours-europeen-de-robots-sous-marins-autonomes-sur-une-base-de-lotan-en-italie_20110524.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=WqkNVL6LEcSWaoeKgsgP&ved=0CCYQ9QEwBw&usg=AFQjCNHxapJ7DpMdQGUNm5EBTPOoz1sPeA

http://www.google.fr/url?url=http://fr.wikipedia.org/wiki/Usage_des_robots&rct=j&frm=1&q=&esrc=s&sa=U&ei=3KkNVKWCA5PSaKDPgeAL&ved=0CCYQ9QEwCA&usg=AFQjCNGEF37Py0etj7pIgkbEYiMVTpuxQQ

http://www.google.fr/url?url=http://fr.wikipedia.org/wiki/Robot&rct=j&frm=1&q=&esrc=s&sa=U&ei=Fa4NVLTfLsLpaJbggKgG&ved=0CCQQ9QEwBzg8&usg=AFQjCNERTLXYTMRgyxWefEkVrzeq_2P1ug

http://www.google.fr/url?url=http://www.robotblog.fr/militaire/un-sens-moral-pour-les-robots-militaires-1172&rct=j&frm=1&q=&esrc=s&sa=U&ei=Fa4NVLTfLsLpaJbggKgG&ved=0CBwQ9QEwAzg8&usg=AFQjCNHD-9Fpg7nWw_Ay7mVILeg4x_iw6Q

http://www.google.fr/url?url=http://www.rtflash.fr/robot-europeen-autonome-en-2017-pour-intervenir-en-cas-catastrophe/article&rct=j&frm=1&q=&esrc=s&sa=U&ei=Fa4NVLTfLsLpaJbggKgG&ved=0CDAQ9QEwDTg8&usg=AFQjCNGkW3flAA6ZkGbzxz_t5JXUFEcV-w

Géomorphologie et analyse de la forme des particules sédimentaires

Mokhtar TAFFAR

Contrôle des Activités Aéroportuaires (ex., Projet AVITRACK) Description (vandalisme) de Scènes (ex., Métro), usage multi-caméra, Projet

ADVISOR Détection de comportement anormal ou d’évènement rare

Mokhtar TAFFAR

Détecteur Viola Jones (présent

dans la plupart des Caméra)

Mokhtar TAFFAR

Bases de données visages

Reconnaissance de visages

dans la foule

Scanner le visage plutôt que

le billet Un problème éthique !

Mokhtar TAFFAR

https://www.google.fr/url?url=https://www.behance.net/gallery/9082913/Mimicking-Human-Body-Movement-and-Facial-Expressions&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CDAQ9QEwDQ&usg=AFQjCNE65NxXsnNBkzoXNmurpllb7kT2yw

http://www.google.fr/url?url=http://www.dia.fi.upm.es/~pcr/face_tracking.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CBYQ9QEwAA&usg=AFQjCNHdpp8v--xWJ94F82goNYd10BaeLg

http://www.google.fr/url?url=http://www.creativeapplications.net/openframeworks/scramble-suit-face-tracking-openframeworks/&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CBoQ9QEwAg&usg=AFQjCNGEUysEZyN09YhAAcP1CFOsMXBwpA

http://www.google.fr/url?url=http://www.codeproject.com/Articles/394975/How-To-Use-Kinect-Face-Tracking-SDK&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CBwQ9QEwAw&usg=AFQjCNGy4AP6jbpnvBGisIftKFUdxuVIYA

http://www.google.fr/url?url=http://blog.inspirit.ru/viola-jones-object-detection/&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CDQQ9QEwDw&usg=AFQjCNEvN6uem5YXRe315xsBHmU6x2erCw

http://www.google.fr/url?url=http://www.cs.rutgers.edu/~decarlo/facetrack.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=CLINVITGL4LvapjPgeAM&ved=0CDwQ9QEwEw&usg=AFQjCNFWS-U5B3fQ5vWVtl8co7hsDiE_qg

http://www.google.fr/url?url=http://fontfacederdigitalenexperimentierer.wordpress.com/team/&rct=j&frm=1&q=&esrc=s&sa=U&ei=arMNVPGdPKjMyAP1vYHoCQ&ved=0CB4Q9QEwBDgU&usg=AFQjCNH2nYaJNwz9GlvWRD9-Ea-njEMlLA

http://www.google.fr/url?url=http://www.cl.cam.ac.uk/~tb346/res/clm-z.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=arMNVPGdPKjMyAP1vYHoCQ&ved=0CCAQ9QEwBTgU&usg=AFQjCNG510dipa-VlNRibuZofDUSZMcTxg

http://www.google.fr/url?url=http://stackoverflow.com/questions/10966772/how-can-i-detect-yawn-using-open-cv&rct=j&frm=1&q=&esrc=s&sa=U&ei=HLQNVO7DIKPnyQPs9IFg&ved=0CBgQ9QEwATgo&usg=AFQjCNFuLPllDvHA_anLB7KTpWNxyDLtgA

http://www.google.fr/url?url=http://www.codeproject.com/Articles/26897/TrackEye-Real-Time-Tracking-Of-Human-Eyes-Using-a&rct=j&frm=1&q=&esrc=s&sa=U&ei=HLQNVO7DIKPnyQPs9IFg&ved=0CCAQ9QEwBTgo&usg=AFQjCNFclJaKhKM8vAwRxWn6VnbjmTY35w

http://www.google.fr/url?url=http://www.amazon.co.uk/Fujifilm-FinePix-S1000fd-Digital-Camera/dp/product-description/B00152A06G&rct=j&frm=1&q=&esrc=s&sa=U&ei=HLQNVO7DIKPnyQPs9IFg&ved=0CB4Q9QEwBDgo&usg=AFQjCNGUACNnoP4S5Wui4vPxTJtIQYndjQ

Mokhtar TAFFAR

Interfaces Homme-Machine intelligentes Reconnaissance du Langage des Signes

Mokhtar TAFFAR

http://www.google.fr/url?url=http://revues.mshparisnord.org/rfim/index.php?id=107&rct=j&frm=1&q=&esrc=s&sa=U&ei=oK8NVNjyF4vWaKrNgaAH&ved=0CBgQ9QEwAQ&usg=AFQjCNFzBGm1swDP1eTmmmD8bQPFapYTWw

http://www.google.fr/url?url=http://www.apprism.com/valtech-aux-frontieres-du-reel/&rct=j&frm=1&q=&esrc=s&sa=U&ei=oK8NVNjyF4vWaKrNgaAH&ved=0CCAQ9QEwBQ&usg=AFQjCNEeLhp_P2_vHBgXHtv4JcJQiDLzpw

http://www.google.fr/url?url=http://www.gdr-isis.fr/index.php?page=reunion&idreunion=173&rct=j&frm=1&q=&esrc=s&sa=U&ei=oK8NVNjyF4vWaKrNgaAH&ved=0CCoQ9QEwCg&usg=AFQjCNFex0Lkt_Mnb1vSJvopqUHh2JE1cA

http://www.google.fr/url?url=http://www.inui-studio.com/blog/category/press-news/page/6/&rct=j&frm=1&q=&esrc=s&sa=U&ei=k7ENVNzzB4S_ygO31YDABg&ved=0CCIQ9QEwBjg8&usg=AFQjCNGSULUO7b8gF9XDSgdp4LW4Vgi0jg

Reconnaissance multiple d’actions simultanées en vidéo – courir puis en marchant

Mokhtar TAFFAR

Cancer de la peau Cancer du sein

Mokhtar TAFFAR

Détection et suivi des

Astéroïdes

Perseverance : le rover de la

Nasa débarque sur Mars

Envoie d’une sonde au plus

proche du soleil

Images de la Nasa

Mokhtar TAFFAR

Réalité augmentée, réalité virtuelle, réalité augmentée sur Smartphone, …

Mokhtar TAFFAR

http://www.google.fr/url?url=http://www.monwindowsphone.com/la-premiere-application-a-realite-augmentee-dans-windows-phone-mango-t4538.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=870NVLSVGMLhaNWygXg&ved=0CBoQ9QEwAg&usg=AFQjCNGi6kYkhdYyAAvqSovo6keqo2vsdg

http://www.google.fr/url?url=http://www.paperblog.fr/5874483/testons-la-realite-augmentee/&rct=j&frm=1&q=&esrc=s&sa=U&ei=870NVLSVGMLhaNWygXg&ved=0CCQQ9QEwBw&usg=AFQjCNG43E_HoQ4YOYkZieVfSGDRPNN0ng

http://www.google.fr/url?url=http://www.qualia.fr/realite_augmentee/&rct=j&frm=1&q=&esrc=s&sa=U&ei=870NVLSVGMLhaNWygXg&ved=0CCwQ9QEwCw&usg=AFQjCNGfXiQO_zCGQBYPuYFT7eH8QALy_w

http://www.google.fr/url?url=http://www.scuba-people.info/Realite-augmentee-au-Festival-mondial-de-l-Image_a57.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=xL4NVLHEL4uVas7cgPAD&ved=0CBwQ9QEwAzgU&usg=AFQjCNEBlRHeW0mERDwU1n8nKGxWSlxufA

http://www.google.fr/url?url=http://www.dkconcept.fr/realite-augmentee.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=xL4NVLHEL4uVas7cgPAD&ved=0CDoQ9QEwEjgU&usg=AFQjCNF_gPapyJ0W3KEOLqahm7awDqCXiA

http://www.google.fr/url?url=http://binyamin.net/blog/3-meilleures-applications-de-realite-augmentee-20100311-57&rct=j&frm=1&q=&esrc=s&sa=U&ei=dr8NVMHENsyXatXlgfAG&ved=0CDwQ9QEwEzg8&usg=AFQjCNEUL9nPVyyG_Rv89WbqDBkTOMT2ng

http://www.google.fr/url?url=http://www.colloque-numerique.com/menu-vertical---colloque/la-realite-augmentee.html&rct=j&frm=1&q=&esrc=s&sa=U&ei=_L8NVImPJMnjatLYgbAJ&ved=0CCgQ9QEwCTgU&usg=AFQjCNHEDHKTz5V_3spEWrMABdqEkwOyCQ

Image Processing and Understanding Applications

Documents

Modification des niveaux de gris et Histogrammeultra.sdk.free.fr/docs/Image-Processing/Courses/TRAITEMENT... · L’histogramme n’a pas une distribution uniforme. Les résultats

Analyse de textures en traitement d’imagesultra.sdk.free.fr/docs/Image-Processing/Courses/TRAITEMENT... · 6 Conclusion 19 . GB06 Isabelle Claude 3 Analyse de textures en traitement

ONTOLOGY-BASED LYMPHOCYTE POPULATION ...Using tools from mathematical morphology for processing peripheral blood colour images, we have developed an image-based approach, to provide

StreamServeTM Post Processing · StreamServe TM StreamServe Post-Processing : une solution dédiée pour la production documentaire de masse Post-Processing permet aux ... brochure

Introduction to Deep Processing Techniques for NLPcourses.washington.edu/.../slides/ling571_class1_intro_flat.pdf · Introduction to Deep Processing Techniques for NLP Deep Processing

Word Processing Lesson 02

0XOWL%UXVK - Image and Video Processing, Photo …download.akvis.com/multibrush-fr.pdf · Ou vous pouvez copier le fichier .8bf dans le dossier Plug-ins de votre logiciel de retouche

SUJETS SPÉCIAUX EN INFORMATIQUE I PIF6003. Généralités u Présentation du plan de cours –Disponibilités –" Digital Image Processing", Gonzalez & Woods

Electronic supporting information understanding side ... · 1 Electronic supporting information Carbocationic polymerization of isoprene using cumyl initiators: progress in understanding

HP LaserJet M4349x MFPh10032. · Grå bakgrunn ... Transmit Once, Raster Image Processing (RIP) ONCE-teknologi Maksimal utskriftskapasitet på opptil 200 000 sider per måned Oppløsning

Network Planning - RadioTvForum.it · 09-11-2009 · Ponti Radio TRuepoint 6800+ Core Processing Solutions NEO Advanced Applications Processing Solutions X75 All-In-One Processing

Image Processing using Finite Automata Jean-Christophe Janodet Journée SATTIC

N. Verrier and M. Atlan arXiv:1111.4126v1 [physics.optics ... · parallelization of image processing calculations by Graphics Processing Units (GPU), hologram reconstruction can be

Free Surface Monitoring Using Image Processing - MSEpeople.eng.unimelb.edu.au/imarusic/proceedings/15/AFMC00170.pdf · Free Surface Monitoring Using Image Processing ... Cluster using

MANUEL - · PDF fileNeural Network Toolbox Optimization Toolbox Parallel Computing Toolbox Statistics Toolbox Fuzzy Logic Toolbox Image Processing Toolbox Aerospace Toolbox Data Acquisition

MOBILE PROCESSING - Wirtgen Group

PROCESSING - Floss manuals fr

Free Surface Monitoring Using Image Processingweb.aeromech.usyd.edu.au/15afmc/proceedings/papers/AFMC00170.pdf · Free Surface Monitoring Using Image Processing ... Cluster using

RhizoScan: An automated image-processing pipeline LABEX ......LABEX NUMEV Solutions Numériques Matérielles et Modélisation pour l’Environnement et le Vivant RhizoScan: An automated

Calcul Scienti que et Symbolique, Logiciels Licence …ayger/CSSL.pdf · des toolboxes suivants : Image Processing, Signal Processing, Statistics, Partial Differential Equations,