1

Projet ORION Monique THONNAT INRIA Sophia Antipolis

Date

2

Définition d’un projet INRIA

1 Thème de recherche focalisé

1 Equipe

Evalué tous les 4 ans

Durée limitée: moins de 12 ans

3

Exemple: le projet Orion

Thème CogC systèmes cognitifs: données multimédia: interprétation et interaction homme-machine

Thème de recherche focalisé: Vision Cognitive

Equipe: + 22 personnes

Dates: Création juillet 1995

Evaluations en 1997 et en 2001

4

Une équipe: Les Membres du projet ORION

5

Responsable: Monique Thonnat (DR Inria) Assistante: Catherine Martin ( TR Inria)

Chercheurs: François Bremond (CR1 Inria) Ingénieurs: Alberto Avanzi ( Ing Bull)

Sabine Moisan (CR1 Inria) Julien Canet (Ing Associé)

Annie Ressouche (CR1 Inria) Nicolas Chleq (IR2 Inria Dream)

Post-doc: Florence Duchene (bourse Inria)

Doctorants: Bernard Boulay (2ieme année) Ing.-experts: Frederic Cupillard (Vigitec)

Binh Bui (1ere année) Gabriele Davini (Samsit)

Benoit Georis (2ieme année) (Louvain) Florent Fusier (Avitrack)

Celine Hudelot (3ieme année) Magali Maziere (FNCA)

Naoufel Khayati (1ere année) (Tunis) Christophe Tornieri (SNCF)

Nicolas Maillot (3ieme année) Valery Valentin (Avitrack)

Vincent Martin (1ere année) Coll. ext: Jean-Paul Rigault (Prof. UNSA)

Jean-Philippe Vidal (3ieme année) (Lyon)

Les Membres du projet ORION

6

Equipe de recherches en vision cognitive

• Compétence en intelligence artificielle, vision par ordinateur, génie

logiciel

Thème de recherches:

• Interprétation d’images: reconnaissance d’objets naturels et

interprétation vidéo pour la reconnaissance de comportements

• Réutilisation de logiciels: techniques de pilotage de programmes et

plates-formes de développement de systèmes à base de

connaissances

Projet ORION

7

Interprétation Vidéo:

Impact important en vidéo surveillance (stations de métro, agences bancaires, trains,

aéroport)

• 5 projets européens (PASSWORDS, AVS-PV, AVS-RTPW, ADVISOR,

AVITRACK)

• 4 contrats de recherche avec des industriels (métro, banque, trains)

• 2 activités de transfert avec Bull (Paris) et Vigitec (Brussels)

Reconnaissance Objets Naturels:

Coopérations scientifiques pour le diagnostic de pathologies

• Projet européen ASTHMA (détection de pollens pour prévention d’allergies)

• INRA (diagnostic de maladies de végétaux)

Applications:

8

Image interpretation

•What does it mean to perform image interpretation ?

semantic image interpretation (i.e. object categorization)

•What does it mean to associate semantics to a particular image ?

9

Image interpretation Proposed approach: Knowledge-based Vision

• formalize the a priori knowledge for image interpretation in knowledge bases

• explicit the reasoning (how to use a priori knowledge)

• define sub-problems and build solutions independent of any application (object categorization, program supervision, video understanding)

• use of state of the art vision techniques

• test the solutions on difficult real cases

10Application on Plant Disease Diagnosis: Rose Diseases

Powdery mildew :State of infection : earlyVegetal support : red leaf

Powdery mildew :State of infection : very earlyVegetal support : green leaf

Two white flies close to their eggs

Need of domain knowledge

Intelligent management of image processing programs

Complexity and variability of object appearance

Variability of contexts

Scene knowledge and spatial reasoning

Multiple objectsand various object types

11

Objective:

real time and automated analysis of video sequences

video understanding= from people detection and tracking to behavior recognition

---> Interpretation of the videos from pixels to alarms

Video understanding

« Blocking an exit » «Fighting » « Fraud » 

« Overcrowding» 

ALARM

Interface for alarm management

Behavior recognitionPeople

detection and tracking

Cameras

12

Video Understanding: typical problems

Metro station surveillance Surveillance inside trains

Building access control Airport monitoring

13

Video Understanding Vandalism in metro (Nuremberg)

14

Knowledge bases still difficult to build • --> Design of ontology driven knowledge bases

– visual concept ontology (Nicolas Maillot PhD)

– video event ontology (T. Van Vu PhD)

• --> Design of learning techniques to complement knowledge bases

– visual concept learning(Nicolas Maillot PhD)

– image segmentation learning (Vincent Martin PhD)

Reusability is still an issue for vision programs• --> Use of program supervision techniques for video understanding

– dynamic configuration of programs and parameters (B Georis PhD)

Conclusion: Where we go