FRE 2645 Journée des Doctorants PSI04 : Jeudi 7 Octobre 2004 Analyse de Documents Graphiques pour la Reconstruction dObjets en XML: une Contribution Mathieu

Journée des Doctorants PSI’04 : Jeudi 7 Octobre 2004

FRE 2645

Analyse de Documents Graphiques Analyse de Documents Graphiques pour la Reconstruction d’Objets en pour la Reconstruction d’Objets en

XML:XML:une Contributionune Contribution

Mathieu DelalandreLaboratoire PSI, Université de Rouen

Jeudi 7 Octobre 2004Journée des Doctorants PSI’04, Mt St Aignan


PlanPlan

Présentation Introduction I - Pilotage à Base de Scénarios Utilisateurs II - Gestion des Connaissances Graphiques III - Extraction de Primitives Graphiques VI - Système Contextuel à base d’OPM un Cas d’Usage Conclusion et Perspectives


PrésentationPrésentation

Equipe : PSI Université, Equipe documents structurés & graphiques J. Labiche, Y. Lecourtier, E. Trupin, P. Héroux, S. Adam, H. Locteau, E.

Barbu, F. Carmagnac, M. Delalandre

Directeurs : J. Labiche, E. Trupin, et J.M. Ogier (L3I, la Rochelle) Cursus : 3e année Soutenance : Décembre 2004 Post-Doc : Avril-Septembre 2005 (Nottingham, T. Pridmore)

Systèmes perceptifs pour l’analyse de documents graphiques


IntroductionIntroductionAnalyse de documents (1)Analyse de documents (1)

Structuré

Manuscrit

Graphique


IntroductionIntroductionAnalyse de documents (2)Analyse de documents (2)

données de plus haut

niveau sémantique

données de plus haut

niveau sémantique

Système de

contrôle

Librairie de

traitements

Base deConnaissances IHM

Buts : segmentation, indexation, apprentissage, reconnaissance, rétro-conversion, interprétation


IntroductionIntroductionAnalyse de documents graphiques (1)Analyse de documents graphiques (1)

Parties graphiques (linéaire & symboles)

Relations de composition approche structurelle



[ICIPS’03b] [LNCS’04b]

skeletonisation contouring

meshesregion

runtracking

segmented object



Analysis

Analysis

Recognition 1

Recognition 2

comparison

Analysis orRecognition

Analysis orRecognition

RecognitionHybrid construction

Analysis or Recognition Analysis Recognition

morphology

junction

invariance

sensitivity

semantic

reversibility

complexity

best method

tracking, run, region

run, region

skeletonisation, contouring

object segmentation

meshes, tracking, object segmentationregion, run

tracking, meshes

Criterion

[ICIPS’03b] [LNCS’04b]


I - Pilotage à Base de I - Pilotage à Base de Scénarios UtilisateursScénarios Utilisateurs

[ICISP’03a] [ICDAR’03] [LNCS’04a] [LNCS’04c]

Granulariser les extracteurs « standards » de primitives graphiques Exploiter ces opérateurs dans des approches type scénarios utilisateurs

(+) Adaptabilité des systèmes

(-) Aspect déterministe (pas d’analyse du contexte)

(-) Combinaison limitée, absence de formalisme graphique commun

ACTI_VADocMining


II - Gestion des II - Gestion des Connaissances GraphiquesConnaissances Graphiques

IntroductionIntroduction

[GBR’es]

Modélisation dédiée, formalismes prochesFormalismes bas et haut niveau



Notre approche (1)Notre approche (1)

[GBR’es] formalisme orienté objet



Notre approche (2)Notre approche (2)

[GBR’es] Requêtes graphiques


III - Extracteurs de Primitives III - Extracteurs de Primitives Graphiques (1)Graphiques (1)

Bas niveau ‘pixel et vectoriel’ [ICISP’03] [ICDAR’03] [LNCS’04a]


III - Extracteurs de Primitives III - Extracteurs de Primitives Graphiques (2)Graphiques (2)

Haut niveau ‘région’ [CIFED’02] [SSPR’02] [CIFED’04a] [SSPR’04] [TS’es]

Combinaison de graphes de contraintes, inclusion, voisinage, reconnaissance statistique


VI - Système Contextuel à VI - Système Contextuel à base d’OPMbase d’OPMIntroduction (1)Introduction (1)

S1

S2

S3

G1

G2

G3

G1 S1G2 S2 ; S3

G2 S2G3 S3

OPD

Postulat I : Combinaison d’extracteurs basée sur un formalisme objet Méthodologie de Construction d’Objets (OPM)


VI - Système Contextuel à VI - Système Contextuel à base d’OPMbase d’OPMIntroduction (2)Introduction (2)

Postulat II : Notion de contexte système auto adaptatif

Le bruit La dimension

Near

L’environnement graphique


VI - Système Contextuel à base VI - Système Contextuel à base d’OPMd’OPM

IHM et Base de ConnaissancesIHM et Base de Connaissances

[CIFED’04b] [ELCVIA’es] [TS’es] IHM

Etude et conception (XMLdipi, MandaraxEditor) Apprentissage (XMLgml, ojgBE) Recherche et navigation (QuiltRAG, 2iRDF) Evaluation (XMLibi)

Base de connaissances Formalismes: règles, graphes, vecteurs de primitives, etc. Représentation: XML, SVG, XGMML, RuleML, RDF



rsOPM (1)rsOPM (1)

[CIFED’04b] [ELCVIA’es] [TS’es] Opérateurs:

Interface (traitement ou chaîne de traitements) Contrôle : RuleML définition du système « en tout interprété »

Règles : {F, P, Q} F : base de faits P : base de prédicats Q : la requête

Prédicats : {Pr, O, S, R} {Pr} Traitement {O} Objet(s) {S} Paramètre(s) {R} Règle(s)



rsOPM (2)rsOPM (2)

rsOPM

TraitementsBase de

Connaissances Objets et Règles

Règles

Objets, Paramètres,et Règles

[CIFED’04b] [ELCVIA’es] [TS’es]


un Cas d’Usageun Cas d’UsageIntroductionIntroduction

Symbol Contest GREC’03: 20 symboles électriques et

architecturaux segmentés 9 séries de tests ~3000 images

dégradées


un Cas d’Usageun Cas d’UsagePrétraitement contextuelPrétraitement contextuel

Opérateurs d’évaluation: bruit impulsionnel et bruit morphologique

10 de prédicats Opérateurs de filtrage:

restauration, ‘filtrage léger’, restitution, ‘filtrage lourd’, segmentation

Bruit impulsionnel Bruit morphologique

(v,s)fp (e,s)frp (e,ns)dxp


un Cas d’Usageun Cas d’UsageExtraction de primitives graphiquesExtraction de primitives graphiques


un Cas d’Usageun Cas d’UsageReconnaissance OPM/DirecteReconnaissance OPM/Directe

Sym1 (Aa, Ae, Ah, Eb, Ee) Node01 (Ec, Ed, Ef, Eh)

Node02 (Ac, Ad, Ai, Ea, Eg, Ei) Node04 (Ab, Af, Ag, Aj, Ej)

GrapheDe Région

ReconnaissanceStatistique

ReconnaissanceStructurelle

Image Label


un Cas d’Usageun Cas d’UsageRésultats (1)Résultats (1)


un Cas d’Usageun Cas d’UsageRésultats (2)Résultats (2)

Résultats Contest GREC

70

75

80

85

90

95

100

tests

% r

eco

nn

aiss

ance

P1

P2

OPM


Conclusion & PerspectivesConclusion & Perspectives

Conclusion Système « adaptable » et auto adaptatif Combinaison d’approches Tire partie de la structuration des connaissances

hétérogènes: L’adaptation au contexte L’accroissement de ses capacités de reconnaissance

Perspectives Validation (autres cas d’usage, autres extracteurs) Application aux schémas perceptifs


BibliographieBibliographie

[CIFED’02] M. Delalandre, P. Héroux, S. Adam, E. Trupin, and et J.M. Ogier. Une approche statistico-structurelle pour la reconnaissance de symboles exploitant une représentation xml des données. In Colloque International Francophone sur l'Ecrit et le Document (CIFED), pages 121-128, 2002.

[SSPR’02] M. Delalandre, P. Héroux, S. Adam, E. Trupin, and et J.M. Ogier. A statistical and structural approach for symbol recognition using xml modelling. In Conference on Structural and Syntactical Pattern Recognition (SSPR), pages 281-290, 2002.

[ICDAR’03a] M. Delalandre, S. Nicolas, E. Trupin, and J. Ogier. Symbols recognition by global-local structural approaches, based on the scenarios use, and with a xml representation of data. In International Conference on Document Analysis And Recognition (ICDAR), pages 1002-1006, 2003.

[ICISP’03a] M. Delalandre, S. Nicolas, E. Trupin, and J. Ogier. Reconnaissance de symboles par approche structurelle globale-locale, basée sur l’utilisation de scénarios, et exploitant une représentation xml des données. In International Conference on Image and Signal Processing (ICISP), pages 631-639, 2003.

[ICISP’03b] M. Delalandre, E. Trupin, and J. Ogier. Analyse structurelle en interprétation de documents: Un bref survol. In International Conference on Image and Signal Processing (ICISP), pages 640-649, 2003.

[LNCS’04a] M. Delalandre, Y. Saidali, J. Ogier, and E. Trupin. Adaptable vectorisation system based on strategic knowledge and xml representation use. Lecture Notes in Computer Sciences (LNCS), 3088:196-207, 2004.

[LNCS’04b] M. Delalandre, E. Trupin, and J. Ogier. Local structural analysis: A primer. Lecture Notes in Computer Sciences (LNCS), 3088:220-231, 2004.

[LNCS’04c] E. Clavier, G. Masini, M. Delalandre, M. Rigamonti, K. Tombre, and J. Gardes. Docmining: A cooperative platform for heterogeneous document interpretation according to user-defined scenarios. Lecture Notes in Computer Sciences (LNCS), 3088:13-24, 2004.

[CIFED’04a] M. Delalandre, E. Trupin, J. Ogier, and J. Labiche. Système contextuel de reconnaissance structurelle de symboles, basé sur une méthodologie de construction d’objets. In Colloque International Francophone sur l’Ecrit et le Document (CIFED), pages 57-62, 2004.

[CIFED’04b] M. Delalandre, E. Trupin, and J. Ogier. Système de reconnaissance structurelle de symboles, basé sur une multi représentation en graphes de régions, et exploitant une représentation xml des données. In Colloque International Francophone sur l’Ecrit et le Document (CIFED), pages 177-182, 2004.

[SSPR’04] M. Delalandre, E. Trupin, and J. Ogier. Symbols recognition system for graphic documents combining global structural approaches and using a xml representation of data. In Conference on Structural and Syntactical Pattern Recognition (SSPR), pages 425-433, 2004.

[ELCVIA’es] M. Delalandre, E. Trupin, J. Ogier, and J. Labiche. Contextual system of symbol structural recognition based on an object-process methodology. ELCVIA, en soumission.

[TS’es] M. Delalandre, E. Trupin, J. Ogier, and J. Labiche. Système contextuel de reconnaissance de symboles basé sur une méthodologie de construction d'objets et une multi-représentation en graphes de régions. Traitement du signal, en soumission.

[GBR’es] M. Delalandre and E. Trupin and J. Labiche and J.M. Ogier. Graphical knowledge management in graphics recognition systems. GBR, en soumission.