Apports de la vision cognitive pour la détection précoce de bioagresseurs

Céline Hudelot, Monique ThonnatÉquipe ORION, INRIA

Paul BoissardUrih, INRA

17/06/2005 INRA

2/24

Plan de la presentation

Introduction État de l’art Notre approche: une plate forme de vision

cognitive Un système pour le diagnostic précoce

des pathologies du rosier Conclusion et perspectives

17/06/2005 INRA

3/24

Introduction: L’action PIC

« Production intégrée dans un système de cultures sous serre lourde » Axe : moyens de détection et de contrôle

Développement de méthodes génériques Capteurs innovants : vers un contrôle non destructif Caractériser l’état de fonctionnement de la culture

17/06/2005 INRA

4/24

Introduction: Objectifs

Objectifs biologiques: Détection précoce des maladies et de la

présence de ravageurs Automatisation de la surveillance de l’état

sanitaire des plantes Un diagnostic plus précis et pouvant être quantifié Non limité à l’œil humain (visibilité et subjectivité) Une surveillance continue

Connaître les pathologies : capitalisation de la connaissance en pathologie Rendre la connaissance des experts pathologistes

disponible à un plus grand nombre de personnes, plus rapidement

17/06/2005 INRA

5/24

État de l’art

Vision par ordinateur pour la production agricole: Tri, contrôle de qualité: pomme, cerise, oignon, rose,

tomate, … Détection de mauvaises herbes [Manh,03], [De

Mezzo,04] Reconnaissance de conidies [Bernier & al, 2000] Dénombrement d’insectes dans les serres [Bauch &

al, 2004, Greensys]+Des systèmes industriels- Des solutions très spécifiques pour chaque application- Représentation explicite et utilisation de la

connaissance

17/06/2005 INRA

6/24

État de l’art

Systèmes à base de connaissances pour l’aide au diagnostic de pathologies végétales: Beaucoup de “ systèmes experts conventionnels” à entrée

textuelle se basant sur des questions et des règles TOM (INRA, [Blancard]) : diagnostic des pathologies de la

tomate et prescription de traitements VEGES ([Yialouris & al, 1997]): diagnostic de la présence de

ravageurs, des maladies et des désordres nutritionnels pour 6 cultures légumières sous serre

+ Rendre l’expertise disponible plus rapidement- Dépend de l’observateur et de sa capacité à comprendre

les anomaliesIntégration de techniques de vision cognitive pour automatiser le contrôle sanitaire

17/06/2005 INRA

7/24

Notre approche: Vision cognitive

Définition: Étude de l’acquisition et de l’utilisation de la

connaissance et du raisonnement en vision par ordinateur

De la « reconstruction visuelle » aux ordinateurs « qui savent voir »

SAVOIRSAVOIR

FAIRE

17/06/2005 INRA

8/24

Approche: Motivations

Pourquoi la vision cognitive ? Diagnostic des pathologies végétales = acte

visuel visant à déduire la présence de maladies par l’observation de signes et symptômes

SAVOIR RAISONNER : interprétation des signes et des symptômes en terme de pathologies

SAVOIR VOIR : Focalisation sur

les critères pertinents

Réseaux en forme d’étoile de filaments blanc et fins (5-10 μ)Présence d’une région elliptique au centre du réseauConditions climatique: Humidité importante, Température : 25 °C

Apparition précoce d’oïdium dans des conditions favorables

Diagnostic précoce:Image microscopique (x64) d’une feuille de rosier

17/06/2005 INRA

9/24

Approche: Motivations

Au début d’une infection: Pas d’altération significative et détectable du

fonctionnement de la plante Méthodes comme mesure de la température

de surface, de la reflectance, de la fluorescence non efficaces à ce stade

Méthodes biochimiques, PCR portable : très chère et petit échantillonnage

Techniques d’images : bonnes méthodes pour les ravageurs et les maladies externes

17/06/2005 INRA

10/24

Approche : Une plate forme réutilisable

Objectif Automatiser la reconnaissance d’objets

complexes dans leur environnement naturel Pas un n-ième système spécifique dédié à une

application donnée Proposer des solutions génériques et

facilement réutilisables

Plate forme de vision cognitive: un environnement réutilisable pour faciliter la construction de systèmes d’interprétation sémantique d’images particuliers

17/06/2005 INRA

11/24

Approche: Une plate forme modulaire

Reconnaissance d’objets à partir d’images: 3 sous problèmes: Traitement d’images: description numérique

des objets Transformation numérique <-> symbolique Interprétation sémantique des données

symboliques en termes de concepts du domaine d’application

Une architecture distribuée basée sur la

coopération de trois systèmes à base de connaissances

17/06/2005 INRA

12/24

Approche: vue globale de la plate forme

Interpretation semantique

Moteur d’interpretation

Modele de representation de la connaissance

semantique

Gestion de donnees visuelles

Pilotage de programmes de TI

Ontologie de concepts

visuels

Moteur

Moteur de pilotage

Modele de representationde la connaissance

Modele de representationde la connaissance

Ontologie de Concepts de traitementd’images

Plate forme de vision cognitive

17/06/2005 INRA

13/24

Niveau sémantique

Niveau visuel

Niveau image

Aleurode: forme elliptique, symétrique, de couleur blanche/ jaunâtre, de longueur 1 a 2 mm

Perception:

ensemble de

pixels

Connaissance sémantique a priori

PUCERONM

INSECTE

ALEURODE ACARIEN

INFECTION D’INSECTES

Lien de composition

Lien de spécialisation

ANTENNES

TRIPS

Après le traitement d’images: plusieurs régionsNe correspondent pas forcement à des objets physiques

Description à l’aide d’une ontologieDe concepts visuels

Region 1:Area : 105compactness :0.9Circularity : 0.85HSV (0.05,0.2, 0.6) ...

Description à l’aide de concepts image

Ancrage de symbole

17/06/2005 INRA

14/24

Approche: Interprétation sémantique

Rôle : Donner un sens sémantique à la scène observée dans l’image Raisonnement classificatoire dans la taxonomie de

concepts du domaine Propagation d’hypothèses sur les objets présents dans

l’image

Connaissance sémantique du domaine d’application Description visuelle des concepts du domaine par des

concepts visuels prédéfinis (ontologie de concepts visuels)

Taxonomie de concepts Information contextuelle non visuelle

17/06/2005 INRA

15/24

Approche: Gestion des données visuelles

Rôle: Mise en correspondance entre les symboles et les

données extraites des images Raisonnement spatial pour la gestion de plusieurs objets

Connaissances: Représentation explicite et floue du lien entre des

symboles (concepts visuels) et les descripteurs numériques mesurables dans les images

Définition et représentation des relations spatiales Plusieurs critères (règles):

Extraction d’objets visuels (contraindre le traitement d’images)

Déduction spatiale Évaluation résultats du traitement d’images

17/06/2005 INRA

16/24

Approche: Traitement d’images

Rôle : Extraction et description numérique des objets

Comment Utilisation de techniques de pilotage de

programmes (plutôt qu’une procédure fixe) Automatisation de la réutilisation de programmes

pré existants en planifiant les traitements et en contrôlant les exécutions

Connaissances : Représentation explicite de la connaissance

sur l’utilisation d’une bibliothèque de programmes.

17/06/2005 INRA

17/24

Approche: Originalité

Séparation des différents types d’expertises nécessaires

Séparation de la connaissance et du raisonnement. Pour chaque module: Un moteur réutilisable Un formalisme de représentation de la

connaissance Un langage de représentation

Deux ontologies réutilisables

17/06/2005 INRA

18/24

Système d’interprétation sémantique particulier

Approche: Principe d’utilisation

Pour une application particulière

Plate forme de

vision cognitive

Expert du domaineutilise

Interprétation sémantique

Construit

Expert en vision

utiliseGestion des données visuelles

Construit

Expert en traitement d’images

utilise

Utilisateur

Pilotage de programmes de TI

Construit

Moteur d’interprétation

Moteur de gestion de données visuelles

Moteur de pilotage de

programmes

17/06/2005 INRA

19/24

Application

Application de la plate forme de vision cognitive pour le diagnostic précoce des pathologies du rosier de serre Construction d’une base de connaissances du domaine:

Description des signes et symptômes observables à l’échelle microscopique du rosier de serre

Organe étudié: feuille

Construction d’une base de connaissance de gestions de données visuelles

Construction d’une base de connaissances de pilotage de programmes de traitement d’images:

Bibliothèque PANDORE (ENSI Caen) Développement d’algorithmes de traitement d’images:

fonctionnalités non présentes dans PANDORE

17/06/2005 INRA

20/24

Application

Acquisition de la connaissance par des interviews d’experts pathologistes (Marc Bardin et Philippe Nicot, INRA Avignon et Nicole Ballino, INRA Frejus) Un arbre composé de 45 classes du domaine Représentation explicite d’un contexte du

domaine et d’un contexte d’acquisition d’images

Règles d’initialisation et de post interpretation

17/06/2005 INRA

21/24

Conclusion : Bilan

Plate forme de vision cognitive Thèse « informatique » soutenue: validation

des idées proposées Une plate forme « en chantier » : un prototype

Système de diagnostic des pathologies végétales du rosier: Trois bases de connaissances comprenant 218

frames et 73 règles Bases de gestion de données visuelles et de

pilotage de programmes minimales (non dépendante de l’application)

L’évaluation reste à faire

17/06/2005 INRA

22/24

Conclusion : Bilan

Actuellement: rendre la plate forme opérationnelle Rattachement d’un ingénieur informatique (Nicolas

Chlecq) pour une durée de 6 mois 1ere étape:

Courant juillet : livraison du Parser (d’une base de connaissance KRIL a un fichier C++)

Tester la version actuelle de la plate forme, validation de l’application biologique

2ere étape: INRA: Enrichissement de la base de connaissances du

domaine Base de connaissances insectes

INRIA: Parser pour le module de gestion de données visuelles Enrichissement des deux autres bases de connaissances ?

17/06/2005 INRA

23/24

Conclusion : Bilan

3eme étape: Intégration d’un module d’apprentissage pour la mise en

correspondance entre concepts visuels et données images (Travaux de Nicolas Maillot)

Symbol grounding problem

A priori knowledge approach

Explicit fuzzy representation of symbol matching with image

dataExplicit matchingVisualConcept{name Circular_Surface

Super Concept Elliptical_SurfaceSymbol name eccentricityLinguistic-values [ high very_high]FuzzySet Fhigh ={0.57, 0.62, 0.76, 0.84}Fvery_high ={0.76, 0.84, 1, 1}Domain [0 1]

Learning from samples approach

Image Data DescriptorSelection

Training

Image samples

Learned matching

17/06/2005 INRA

24/24

Conclusion: Perspectives

Connexion avec le contrôle du système-serre: données fournies par la plate-forme à l’entrée du pilotage du système (cf L. Mailleret), aide à la décision (approche contextuelle)

Optimisation des Capteurs et de leur positionnement

Aspects Multi-résolution Connexions avec d’autres thématiques

scientifiques : Aspect spatio-temporel de l’évolution d’une maladie (épidemiologie)

Aide au diagnostic via l’indexation d’une base d’images : recherche de cas

Apprentissage de la segmentation (Vincent Martin)