Expérience tracée Système à Base de Trace

Alain Mille

Laboratoire d'InfoRmatique en Image et Systèmes d'informationUniversité de Lyon

LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de LyonUniversité Claude Bernard Lyon 1, bâtiment Nautibus

43, boulevard du 11 novembre 1918 — F-69622 Villeurbanne cedexhttp://liris.cnrs.fr

UMR 5205

Expérience tracéeSystème à Base de Trace

Théorie, formalisation, premières pratiques

Séminaire Heudiasyc: 22 avril 2008 - 2

Genèse de la recherche- De l’ingénierie des inscriptions de la connaissance

exploitées en « temps réel »- Construction de systèmes à base de connaissances couplés

avec l’environnement technique et humain.- Les techniques d’intelligence artificielle fondées sur la

réutilisation de l’expérience « concrète »

À une ingénierie de la connaissance pour concevoir des environnements informatiques fonctionnant « en intelligence » avec leurs utilisateurs ? -> une ingénierie de la connaissance dynamique fondée sur les interactions d’utilisation ?


Questions de recherche

Expérience(s), interactions, contexte, situation, mémoire ?

Chez l’humain -> Sciences cognitives, philosophie…Environnement informatique : Nouveaux objets

informatiques ?

Apprendre, se remémorer, réutiliser, partager, transmettre, …

En tant que processus humains -> Sciences cognitives, philosophie…

En tant que processus informatiques (autonomes ?)En tant que processus informatiques en « empathie »

avec les processus humains.


Prolégomènes (1) : Inscription numérique de connaissance

Définition : « Une connaissance est la capacité d’exercer une action pour atteindre un but. »

Pas d’action « rationnelle » sans connaissance (l’inverse n’est pas vrai?)

L’objet d’une connaissance est le corrélat d’une action possible (un objet n’existe que s’il est possible d’agir, y compris par la pensée, sur lui).

L’environnement comprend des structures matérielles, présentant des saillances [Gibson, 1979, Hutchins, 1994] pour notre système perceptif et sensorimoteur. Ces saillances suggèrent des actions au détriment d’autres. L’environnement prescrit ainsi des actions possibles

l’environnement permet de mettre en œuvre des connaissances en réalisant les actions qui les définissent.


Prolégomènes (2) : Théorie du support [Bachimont 2004]

La théorie du support s’articule autour de la thèse centrale suivante : Les propriétés du substrat physique d’inscription, et du format physique

de l’inscription, conditionnent l’intelligibilité de l’inscription.Elle comprend en outre les thèses suivantes : 1. une connaissance est la capacité d’effectuer une action dans un but

donné. 2. un objet technique prescrit par sa structure matérielle des actions.

L’objet technique est l’inscription matérielle d’une connaissance. 3. toute connaissance procède d’une genèse technique. Seule la

répétition, prescrite par les objets techniques, de l’action permet d’engendrer la connaissance comme capacité à exercer une action possible.

4. la connaissance, engendrée par la technique, prescrit une transformation dans le monde des choses (l’objet technique est alors un instrument) ou une explicitation dans le monde des représentations (l’objet technique est alors une inscription sémiotique).

[5. une pensée est une reformulation effectuée par la conscience sur le support corporel qu’est le corps propre. Penser, c’est s’écrire. Toute pensée, comprise comme reformulation a pour cible de réécriture le corps propre, et comme origine, le corps propre ou une inscription externe quelconque.

6. la conscience est un pur dynamisme intentionnel, source des ré-écritures considérées comme des interprétations et non comme un mécanisme.]


Trace informatique comme conteneur potentiel d’expérience / Genèse des M-Traces

1. Expérience « compilée » dans une base de connaissances / inférence logique

2. Expérience « atomisée » dans une base de cas / inférence analogique

3. Expérience inscrite dans les traces d’interactions avec l’environnement (informatique)

4. Première généralisation : le modèle MUSETTE=> Seconde généralisation : les M-Traces et la notion

de système à base de traces


Raisonnement à partir de cas

problème cible

solution cible

problème

solution

cible

problème source

solution source

source



problème cible

solution cible

problème

solution

cible

problème source

solution source

source

1

2

3

12

3

F1 (1, 2,3,1, 2, 3)

F2 (1, 2,3,1, 2, 3)



Une base de cas (des épisodes de résolution de problème)

Une base de connaissances / cas et la façon de les réutilise

Ontologie des descripteurs de cas Structure d’un cas Connaissances d’adaptation/remémoration pour la

réutilisation

Un moteur de raisonnement analogique

Un système de résolution de problème « apprenant »


Limitations…

Nécessité d’une « cristallisation » de l’expérience en structures de casExploitation comme processus de remémoration, mais pas d’effet de « mémoire » en tant que processus.Nécessité de disposer d’une modélisation a priori importante et normalisanteNécessité de définition de « contextes » pré-établisCapacités limitées d’accompagnement de la construction de connaissancesApplication impossible à des problèmes « mal posés »…


Raisonnement à partir de l’expérience tracée

Trace d’interaction

Base de tracesSignature d’épisode


Raisonnement à partir de l’expérience tracée

Trace d’interaction

Base de traces

Signature d’épisode


Raisonnement à partir de l’expérience tracée…


Traces ? Hypothèses retenues

L’activité cible de raisonnement est médiée par l’environnement informatique

La trace est volontaire et attendue Pour un observateur analyste Pour l’utilisateur en situation d’usage réflexif Pour un groupe en situation d’activité collective

La trace est un objet informatique tout à la fois: Support à la construction de connaissances (modèles)

individuelles (réflexivité) collectives (confrontation)

Support à la résolution de problème par réutilisation de l’expérience


L’objet trace ? Système à base de traces ?

Objet informatique : Modélisation / invariants -> Trace modélisée (M-Trace) Opérations spécifique -> transformations de trace Système à base de trace :

Stocker, gérer, organiser les M-traces Réaliser des requêtes de transformation


Collecte de traces : M-Trace première


Modèle de Trace

Transformations de M-Traces


• Système de visualisation : ensemble des techniques de présentation des traces selon une ligne de temps

Visualisation de trace Abstract

Visualisation de M-Traces


Notion de modèle de Trace

Modèle de traceEnsemble de concepts et de relations types qui s’instancient

dans la trace

Pourquoi un modèleImplicite vs ExplicitePost activité décrire les traces résiduelles des systèmes

informatiques (Fichiers log)Pré et post activité de traçage Décrire, Spécifier et

conceptualiser les traces qu’on veut avoir et obtenirM-trace = Trace + Modèle


Domaine temporel / contraint l’extension temporelle d’une trace


Modèle de Trace


Trace Modélisée


Action

-type

Objet-id-Nom

Relation Type

Relation Temporelle

Relations Types r

Classe d’observés

instanciation

Modèle de trace

Classes Types c

Une trace

Obs 1

- Ouvrir

10:24:03

obs3

-Fermer

Obs 13

- Copier

10:26:10 10:26:12 10:29:42

Obs 2

- D001- Knowledge Management.doc

Obs 11

- D0023 - Rewriting Queries.html

Relation Structurelle

Relations

Domaine Temporel


Action

-type

Objet-id-Nom

Relation Type

Relation Temporelle

Relations Types r


instanciation

Modèle de trace

Classes Types c

Une trace

Obs 1 obs3

-Local

Obs 13

- Ouvrir

Obs 2

- D001- XMLDocument- Knowledge Management.xml

Obs 11

- D0023- Component- Rewriting


Relations

Domaine TemporelDocument

-titre

Composant

-Nom

Copier Exécuter

-Mode

Observé

Obs415

- XMLTransform

obs25

-Distant

10:24:03 10:26:10 10:26:12 10:33:4010:24:03

obs4

-ID3-PdfDocument-Visualisation.pdf

10:29:42


Action

-type

Objet-id-Nom

Relation Type

Relation Temporelle

Relations Types r


instanciation

Modèle de trace

Classes Types c

Une trace

Obs 1 obs3

-Local

Obs 13

- Ouvrir

Obs 2

- D001- XMLDocument- Knowledge Management.xml

Obs 11

- D0023- Component- Rewriting


Relations

Domaine TemporelDocument

-titre

Composant

-Nom

Copier Exécuter

-Mode

Observé

Obs415

- XMLTransform

obs25

-Distant

10:24:03 10:26:10 10:26:12 10:33:4010:24:03

obs4

-ID3-PdfDocument-Visualisation.pdf

10:29:42

0..n

1


• Traitement permettant d'effectuer une ou plusieurs

opérations sur une trace en entrée et dont le résultat de transformation est une nouvelle trace Trace transformée

• Les transformations peuvent être manuelles (mais explicites) ou automatiques.

• Les transformations (identifiées) peuvent être– Sélection– Fusion selon les domaines temporels– Réécriture de motifs

Transformations


• Sélectionner les observés de la trace qui répondent à certains critères– Éliminer les observés « bruit » dans la trace– Simplifier la lecture de la trace

• Recherche de motifs/patron (pattern matching)– Exemple trouver tous les observés « Action » ayant

l’attribut « Type = Copier »– Besoin d’une notation pour décrire ces patrons– Besoin d’un algorithme pour extraire les motifs d’observés

vérifiant les patrons

Sélection 1/4


• Représentation du patron– Les éléments du modèle sert de langage (alphabet) pour la

description des patrons• Les classes d’observés et les relations types

– Exemple : Patron Structurel (Classe; Relation Type; Classe)• (Action.Type=Copier - R - Objet)

Modèle

Temps

Action

-Type

Objet-id-Nom

R

id1Document

id1Document

CopierCopierOuvrirOuvrir CopierCopier

Id2Page Web

Id2Page Web

id3Messageid3

Message

EnvoyerEnvoyer

Id2Page Web

Id2Page Web

id1Document

id1Document

CopierCopier CopierCopier

Sélection 2/4


• Représentation du patron– Patron Temporel (Classe; Relation Temporelle ;Classe)

• (Copier ; Objet ; Envoyer) ou plus précisément (Copier Before Objet Before Envoyer)

Modèle

Temps

Action

-Type

Objet-id-Nom

R

id1Document

id1Document

CopierCopierOuvrirOuvrir CopierCopier

Id2Page Web

Id2Page Web

id3Messageid3

Message

EnvoyerEnvoyer

Id2Page Web

Id2Page Web

id1Document

id1Document

CopierCopier EnvoyerEnvoyer

Sélection 3/4


• La description d’un patron peut exprimer alternatives, répétitions, « jokers », etc.– « | » représentant les alternatives.

• (Copier;Objet)|(Envoyer;Objet) signifie (Copier;Objet) ou (Envoyer;Objet)• Exemple (Copier|Couper;Coller);Document matche avec

– Copier;Document ou Couper;Coller;Document.

– « * » permet la répétition (0 plusieurs fois).• Copier;Objet* matche avec {Copier}, {Copier;Document}

{Copier;Document;Document} …• Ouvrir;(Modifier;Objet)* matche avec {Ouvrir}, {Ouvrir;Modifier;Document},

{Ouvrir;Modifier;Document} {Ouvrir;Modifier;Text;Modifier;Document} …– « + » permet 1 ou plusieurs répétitions.

• Copier;Objet+ matche avec {Copier;Document} {Copier;Document;Document}– « ? » matche n’import quel observé.

• Copier?Objet matche avec {Copier;Document} {Copier;Text;Document}{Copier;coller;modifier;Document} ...

– …

Sélection 4/4 + expression régulière


– Représentation du patron Temporelle (Classe; Relation Temporelle ;Classe) est dépendante du domaine temporel de la trace.• Cas instant Relations temporelles peuvent être {Before, After}• Cas intervalle Relations temporelles peuvent être {Before, After, Between, Meet, …}• Le cas hybide (Instants + intervalles + domaine ordonné)

– Dans le cas général, les expressions régulières • Peuvent être représentées par un réseau ou les nœuds représentent les états et les

connections représentent les transitions entre eux.• Les nœuds dans notre algorithme capture l’état dans lequel certains observés ont été

appariés avec succès. • Ce réseau se réfère à un automate à états finis (Stephen Kleene).

– En particulier, il s’agit d’un automate à états finis non déterministe nécessitant le choix de nœuds également possibles à explorer. Nécessité de gérer les erreurs (retour arrière par exemple).

Remarques / opérations de sélection


• Un motif est l’ensemble des observés correspondant à un patron– Plusieurs motifs peuvent correspondre à un patron

• Selon algorithme

• La réécriture de motifs permet de remplacer les motifs reconnus par de nouveaux observés (modèles de traces différents)

• Verrous– Règles de réécriture

• Nouvel Observé Séquence appariée correspondant au patron• Prendre en compte les propriétés des éléments réécrits• Réécriture de motifs vs agrégation des motifs réécrits

– Indécidabilité théorique de la terminaison d’un système de réécriture

Réécriture de Motifs


modifiermodifiermodifiermodifier

• Réécriture – Document Objet.nom = « Document » – Document modifié Document;ModifierModèle

Temps

Action

-Type

Objet-id-Nom

R

id1Document

id1Document

OuvrirOuvrir CopierCopier

Id2Page Web

Id2Page Web

id3Messageid3

Message

EnvoyerEnvoyer

Id2Page Web

Id2Page Web

id1Document

id1Document

Document

Document édité

DocumentDocument

Document modifié

Document modifié


• Comment développer et implémenter un Framework pour les SBT ?

• Verrous Techniques

• Développement et Implémentation du Système ATER• Le Framework ATER• L’application ATER• État d’avancement

Réaliser un SBT ?

35Séminaire Heudiasyc: 22 avril 2008 -

• Choix / traces • Trace d’exécution d’un programme / Trace d’utilisation d’un

environnement• A base d’instants, d’intervalles ou ordonnées• Niveau d’abstraction des observés de la trace première…

• Notion de modèle de trace• Simple (liste) vs Complexe (Graphe)• Langages associés pour interroger et transformer des traces

• Différentes utilisations (Analyse, Assistance, etc.)• Choix Techniques

• Collecte • Interfaces de collecte• Volume des données• Sémantique des observés ?

• Framework informatique générique utilisable• Embarqué au sein d’applications ?• Comme un service ?• Dans une chaîne d’outils ?

Réaliser un SBT : choix à faire…


Architecture retenue / EIAH

37Séminaire Heudiasyc: 22 avril 2008 -

Système ATER = ATER Framework Informatique + ATER Application

ATER (Atelier pour la gestion de Traces, leurs Exploitations et Représentations)


• Collecte des traces brutes (dépendant de l’application source)• Langage de modélisation des traces• Transformation des traces• Persistance des traces, stockage• Sécurisation des traces• Requêtes sur les traces• Visualisation des traces

Les fonctions à assurer


Framework ATER

L’architecture retenue


• Les technologies utilisées pour le développement – Langage Java– Plateforme Eclipse : application interopérable, extensible

et réutilisable• RCP (Rich Client Platform), GEF (Graphical Editing Framework),

EMF (Eclipse Modeling Framework)

– Framework ATER : description de traces et de modèles très hétérogènes

• OWL (Ontology Web Language) pour la modélisation de la trace et de son modèle

• Licence : ATER est Open Source sous licence LGPL

Les outils de développement ATER


• Package de collecte– Stockage en local et à distance (Apache Jackrabbit)– Construction du modèle de trace première

• Outils externes de création d’ontologies (Protégé, SWOOP, etc.)• API OEDM (EMF Ontology Definition Metamodel) soutenue par

Eclipse et IBM• Editeur Graphique basé sur EMF et GMF (Eclipse Modeling

Framework, Graphical Modeling Framework)

– Construction de la trace première• Import

– Collecte en temps réel (acquisition)

Services ATER 1/3


• Package de gestion : – Des traces et modèle moyennant des métadonnées, descriptions – Des sources de traçage (notamment dans un objectif d’analyse)

• Notion de catégorie/classe• Relations

• Package de sécurité– Notion de « Propriétaire (Owner) » de la trace et du modèle de trace– Restrictions par « Groupe » « User » « Rôle »

• Package de transformation– Types de transformations

• Sélection– Filtre de sélection

• Réécriture de Patterns (Motifs)– Expression de patterns

• Fusion temporelle de m-traces

Services ATER 2/3


• Package de visualisation– Plugins de visualisation permettant la mise à jour des

observés– Visualisation de plusieurs traces en synchronisation avec

des source de traçage (notion de Player ou Rejoueur)

• Package de requêtage– Interface service d’interrogation

• À base de modèle de trace (au niveau des traces contraintes par ce modèle)

• Sur la base de traces (Full text ou sur les description des traces, leurs catégories, ressources, etc.)

Services ATER 3/3


• Gestion, Stockage, sécurité • Collecte des m-traces

– Import – Collecte en temps réel X

• Transformation X– Modèle de transformation Framework UI X – Service de transformation (Transformateur) X

– Description et Calcul d‘indicateurs– Framework UI X

– Interrogation X• Trace • Base de traces X

• Visualisation– Une visualisation classique – Visualisation de plusieurs traces, visualisation de traces avec source de traçage (i.e.

vidéo) X– Éditeur graphique de modèle de traces (basé sur GMF )

Présentation du SBT

Avancement (mars 2008)


ATER


ATER



Quelques exemples d’applications

Facilitateur de gestion de connaissances (gestion d’affaires ANTECIM)

Environnement pour l’analyse comportementale des conducteurs automobiles (INRETS)

Facilitateur pour l’apprentissage collaboratif en e-learning (e-Lycée)


Exemple 1 : Interface de gestion d’affaires


Les modèles…

Modèle de collecte


Exemple 2

Analyse d’activité d’un conducteur automobile à partir de données

comportementales

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]


La voiture


Abstraction par transformation de trace

Eye_sequence_end: Eye_Ahead pendant plus de 0.9s

Short_Left_Mirror_Glance: Séquence plus courte que 0.8s et incluant au moins un Eye_Left_Mirror


Règles d’inférence

La trace est représentée par un graphe (RDF)

Les événements sont définis au sein d’une ontologie (RDFS)

Les règles sont définies par des requêtes (SPARQL)


L’interface analyste


Nouvelles signatures expliquées


Application cible

Nombre croissant de systèmes tentant d‘améliorer le confort et la sécurité du conducteurAméliorer les effets bénéfiques des systèmes de advanced driver assistance systems (ADAS) et les in-vehicle information systems (IVIS) qui devraient réagir selon

les situations de trafic naturellement selon les intentions du conducteur

Exemple : n‘alerter le conducteur sur un franchissement de ligne que s‘il ne s‘agit pas d‘une action volontaire.


Sur simulateur


Exemple 3

Projet eLycée (-> ANR ITHACA) Collaboration eLycée - LIRIS eLycée : formation à la culture et la langue française aux

élèves francophones scolarisés aux EU Volet informatique : traitement/visualisation interactive de

traces réflexives en temps réel Volet sciences cognitives : étude de l’apport des traces à

l’activité d’apprentissage humain (collaboratif)Objectifs

Modéliser le plus génériquement possible la visualisation de traces

Montrer le potentiel de la visualisation de traces pour rendre l'activité réflexive en l’appliquant à eMediatheque


Implémente le concept de ”classe virtuelle” Chat écrit/audio Activités collaboratives synchrones (tableau blanc,

push tuteur, ….

Interactions tracées et affichées

Activité à dimension réflexive

Plate-forme applicative : eMediatheque


Scénario d’utilisation (2/2)


Enjeux, chantiers, partenaires SHSEnjeux : un couplage « Homme(s)-Environnement Informatique » « apprenant » -> plasticité, dynamisme des re-présentations Résonances théoriques en sciences cognitives : théorie de l’activité, enaction,

émergence, constructivisme, action située Association aux processus d’apprentissage automatique et d’acquisition de

connaissances « Trace informatique » nouvelle classe d’objet informatique avec ses

structures, ses méthodesChantiers (voir http://liris.cnrs.fr/silex) Théorie, modèles génériques de traces, architecture, noyau SBT, visualisation

générique, opérateurs, algorithmes… et applications : EIAH (Perlea, Ambre, Geonote, ELycée, Moodle-traces, Ithaca1) Découverte, partage, réutilisation de connaissances : Procogec, Abstract, Ithaca2,

EADS, IAKA, FRAKAS, EDF, SAP etc. Facilitateurs (Dassault, Oscar) / Handicaps (mal voyants, personnes âgées, etc.)

[nouveau]

Partenariats avec les SHS PPF Apprentice (INRP, ICAR, LIG, LIRIS, ELICO, LEPS,Syscom,LIESP) Projet « EIAH adaptatifs » du cluster région ISLE (Grenoble, Lyon, Saint-

Etienne) Projet « Vieillissement » du cluster région « Handicap » (Grenoble, Lyon, Saint-

Etienne)

Documents

Expérience tracée Système à Base de Trace