Usages des traces pour la conception continue d ’un EIAH

Ch.Choquet & S.Iksal Présentation PRC-GDR I3 - 05/05/2010 1

Usages des traces pour la conception continue d ’un EIAH

La proposition du LIUM

Christophe Choquet & Sébastien Iksal

{prénom.nom}@lium.univ-lemans.fr


Objectif et plan de l ’exposé

• Objectifs de la présentation

4 Identifier les principaux usages des traces au cours du processus de conception continued ’un EIAH

4 Montrer comment le langage UTL peut être utilisé dans ce processus

4 Identifier et discuter des questions de recherche restant posées

• Plan

4 Contextualisation des travaux• origine de la proposition

4 Présentation du langage UTL (Usage Tracking Language)• Vocabulaire, objectif et modèles

4 Cas d ’utilisation et exemples• Conception première, réingénierie, adaptation

4 Discussion• Synthèse, questions ouvertes et perspectives


Contextualisation des travaux

• Réingénierie des EIAH (projet REDiM - 2004)

4 Objectif principal• Intégrer les enseignants dans le processus de conception d’un EIAH en définissant un cadre

d’ingénierie capable de les motiver pour assumer de nouveaux rôles, pour faire évoluer leurscompétences, de manière à intégrer les EIAH dans leurs pratiques pédagogiques

4 Approche• « Nourrir » la conception de retours sur l ’utilisation de l ’EIAH pour favoriser la mise en place

d ’un processus de réingénierie permanente• Centration sur le scénario pédagogique : faire évoluer le scénario prédictif en s ’appuyant sur

l ’analyse des scénarios descriptifs - Considérer l ’EML comme métier, évolutif









Conception Utilisation

Analyse

Implémentation

Ingénierie de l ’EIAH









Conception Utilisation

Analyse

Implémentation

Ingénierie de l ’EIAH Ingénierie de l ’observation

Que doit-on observer ?Pourquoi ?

Quand doit-oncollecter ?

Que doit-on collecter ?Comment ?

Que signifient les observations ?Que doit-on modifier ?



• Transformation de traces brutes (langage UTL1 - 2004)

4 Principes• les moyens d’observation doivent être réutilisables et donc traiter les données collectées dans un

format indépendant de l’EIAH qui les génère• chaque donnée d’observation témoigne d’un usage observé, en lien avec le scénario pédagogique

4 Objectifs fonctionnels• instrumenter la transformation des traces brutes générées par un EIAH en un ensemble de

données brutes, exprimées dans un format indépendant du dispositif d’apprentissage• permettre la représentation du langage de modélisation pédagogique (EML) comme un ensemble

de « concepts traçables » pour s’affranchir des spécificités du méta-modèle pédagogique• associer ces données brutes à un élément du scénario pédagogique (i.e. à une occurrence d’un

concept traçable) comme témoins d’un usage observé

4 Nature du résultat• un méta-langage (Usage Tracking Language v1) opérationnalisable avec un schéma XML



• Transformation de traces brutes (langage UTL1 - 2004)

4 Principes• les moyens d’observation doivent être réutilisables et donc traiter les données collectées dans un

format indépendant de l’EIAH qui les génère• chaque donnée d’observation témoigne d’un usage observé, en lien avec le scénario pédagogique

4 Objectifs fonctionnels• instrumenter la transformation des traces brutes générées par un EIAH en un ensemble de

données brutes, exprimées dans un format indépendant du dispositif d’apprentissage• permettre la représentation du langage de modélisation comme un ensemble de « concepts

traçables » pour s’affranchir des spécificités du méta-modèle pédagogique• associer ces données brutes à un élément du scénario pédagogique (i.e. à une occurrence d’un

concept traçable) comme témoins d’un usage observé

4 Nature du résultat• un méta-langage (Usage Tracking Language v1) opérationnalisable avec un schéma XML

EML+

Scénario

Concepttraçable

observed-useDonnéesbrutes

Traces généréespar l ’EIAH

spécifique

générique (représentation UTL1)

spécifique



• Apports des actions Kaleidoscope (ICALTS, TRAILS, DPULS, IA, CAViCoLA - 2004 - 2007)

4 Notion d ’indicateur• Sur la base de la définition d ’un indicateur de l ’interaction (ICALTS), DPULS a proposé la

définition suivante : « un indicateur pédagogique est une variable signifiante sur le planpédagogique, calculée ou établie à l'aide de données observées, et témoignant de la qualité del'interaction, de l'activité et de l'apprentissage dans un EIAH ».

4 Processus d ’analyse des traces (IA)

• Ce qui est important à observer définit l ’existence d ’un indicateur. L ’existence d ’un indicateurcontraint l ’EIAH à produire des données brutes. L ’existence et la forme des données brutescontraint la méthode d ’analyse établissant un indicateur.

4 Format unifié des données (CAViCoLA)

• Format exprimé sous la forme d ’une DTD XML, jouant le rôle de pivot entre le(s) format(s) dedonnées brutes délivrées par un EIAH et le(s) format(s) d ’entrée d ’un outil d ’analyse

4 Capitalisation de l ’expertise d ’analyse et de collecte (DPULS)

• Typologie des données d ’observation• Expression de patrons de conception concernant l ’analyse de l ’utilisation d ’un EIAH, définissant

un ensemble d ’indicateurs et leurs méthodes d ’acquisition et de calcul.



• Conception continue d ’un EIAH

4 La conception se poursuit dans l ’usage• « l'enseignement est moins utilisateur de logiciels clé en main que de logiciels capables d'être

personnalisés par leur utilisateur suivant sa conception propre de ce qu'il doit enseigner et de lafaçon dont il doit l'enseigner » [1]

• « l’activité se révèle difficile à planifier. L’idéal, face à ce problème, serait de permettre auxparticipants de re-spécifier une activité au cours de son exécution » [2]

4 Conception, réingénierie et adaptation d ’un EIAH• L ’usager (principalement l ’enseignant) doit pouvoir concevoir/modifier/adapter l ’EIAH.• L ’usager (principalement l ’enseignant) doit percevoir/comprendre le déroulement d ’une session

d ’apprentissage pour modifier/adapter l ’EIAH.• Les moyens de perception/observation sont également adaptables.

[1] : Réseau National des Technologies du Logiciel, Rapport de synthèse du groupe B2 " Systèmes interactifs et produits multimédia ", http://www.industrie.gouv.fr/ observat/innov/rntl/groupeb2.htm, 1999.[2] : Bourguin, G. et Derycke, A. : Systèmes Interactifs en Co-évolution Réflexions sur les apports de la Théorie de l’Activité au support des Pratiques Collectives Distribuées. Revue d’Interaction Homme-Machine Vol 6 N°1, 2005.



• Conception continue d ’un EIAH

4 La conception se poursuit dans l ’usage• « l'enseignement est moins utilisateur de logiciels clé en main que de logiciels capables d'être

personnalisés par leur utilisateur suivant sa conception propre de ce qu'il doit enseigner et de lafaçon dont il doit l'enseigner » [1]

• « l’activité se révèle difficile à planifier. L’idéal, face à ce problème, serait de permettre auxparticipants de re-spécifier une activité au cours de son exécution » [2]

4 Conception, réingénierie et adaptation d ’un EIAH• L ’usager (principalement l ’enseignant) doit pouvoir concevoir/modifier/adapter l ’EIAH.• L ’usager (principalement l ’enseignant) doit percevoir le déroulement d ’une session

d ’apprentissage pour modifier/adapter l ’EIAH.• Les moyens de perception/observation sont également adaptables.

[1] : Réseau National des Technologies du Logiciel, Rapport de synthèse du groupe B2 " Systèmes interactifs et produits multimédia ", http://www.industrie.gouv.fr/ observat/innov/rntl/groupeb2.htm, 1999.[2] : Bourguin, G. et Derycke, A. : Systèmes Interactifs en Co-évolution Réflexions sur les apports de la Théorie de l’Activité au support des Pratiques Collectives Distribuées. Revue d’Interaction Homme-Machine Vol 6 N°1, 2005.

Adaptation

RéingénierieEnseignant

Conception continue : cas d ’utilisationConception 1ère

<<extends>>

<<includes>>


Le langage UTL (Usage Tracking Language)

Présentation


Vocabulaire

• Observables/Observés

4 Un observable est la spécification d’une observation

4 Un observé est le résultat d’une observation

• Trace brute [Mostow J., & Beck J., 2006]

4 Séquence d’observés directement enregistrée par un vecteur de collecte donné

• Collecte

4 Acte, situé dans le temps, d’enregistrement des traces brutes

• Indicateur [Dimitrakopoulou A., & al., 2004]

4 Point de vue pédagogique : ce qu’il est important d’observer

4 Point de vue technique : donnée établie sur la base d’observés, signifiante pour l’utilisateur

• Moyen d’observation

4 Fonction de transformation appliquée sur un ensemble d’observés pour obtenir un autreobservé

• Modélisation de l’observation

4 Spécification des observables et des moyens d’observation tendue par l’identificationd’indicateurs

• Analyse de l’observation

4 Application des moyens d’observation sur les observés de manière à établir des indicateursà partir des traces brutes


Objectifs initiaux

• Deux séquences de transformations de l’observation à outiller

4 la modélisation de l’observation depuis l’univers métier de l ’enseignant vers l’universspécifique à un EIAH

4 l’analyse de l’observation depuis leur collecte par un EIAH jusqu’à son interprétation parl ’enseignant

Univers métier de l ’enseignant Univers techno-centré indépendantdu dispositif d’apprentissage

Univers spécifique à un EIAH

Indicateur = ce qu’il est important d’observer.

Indicateur = {Moyen d’observation, Σ Observables}

Indicateur = Σ traces

Observé = Moyen d’observation(Σ Observés)

Observé = ce qui a été observé de signifiant

Modélisation de l’observation

Analyse des observations

Transformation Transformation

Capitalisation


Modélisation et analyse de l’observation

• Représentation conceptuelle d’une observation en fonction de son cycle de vie

4 une observation est définie en tant qu’observable à établir

4 une observation est obtenue en spécifiant puis en appliquant un moyen d’observation

4 une observation est utilisée dans un objectif défini et par un acteur donné

• Modèle DGU (Defining, Getting, Using) d’une observation

Modéliser lesobservables

Collecterles traces

MODELE D’UNEOBSERVATION

Defining Getting

Using

RéingénierieRégulationEvaluationRéflexivité


Modèle conceptuel

• donnée d ’observation représentéepar les trois facettes D, G et U

datum

defining

getting

using


Modèle conceptuel


• 2 types de données :

4 primaire

4 dérivé

derived-datum primary-datum

datum

defining

getting

using


Modèle conceptuel


• 2 types de données :

4 primaire

4 dérivé

• donnée primaire :

4 brute, collectée pendant la session

4 de contenu, produite par l ’usager

4 additionnelle, utilisée dansl ’analyse


additional-datum

raw-datum

content-datum

datum

defining

getting

using


Modèle conceptuel


• 2 types de données

4 primaire

4 dérivé





• donnée dérivée

4 établie en utilisant d ’autresdonnées

4 indicateur, signifiant pour l ’usager

4 intermédiaire


intermediate-datum

indicator

additional-datum

use

use

raw-datum

content-datum

datum

defining

getting

using*

*


Modèle conceptuel



4 primaire

4 dérivé








4 intermédiaire


intermediate-datum

indicator

additional-datum

use

use

raw-datum

content-datum

datum

defining

getting

using*

*

UTL/P

Capitalisable


Modèle conceptuel



4 primaire

4 dérivé








4 intermédiaire

• donnée brute

4 modélisée de manière générique

4 transformation des traces del ’EIAH


intermediate-datum

indicator

additional-datum

track

use

use

raw-datum

is modeled by

content-datum

datum

defining

getting

using*

*

*

UTL/P


Modèle conceptuel



4 primaire

4 dérivé








4 intermédiaire

• donnée brute




intermediate-datum

indicator

additional-datum

track

use

use

raw-datum

is modeled by

content-datum

datum

defining

getting

using*

*

*

UTL/P

UTL/T

EIAH spécifique


Modèle conceptuel



4 primaire

4 dérivé








4 intermédiaire

• donnée brute



• indicateur

4 relève d ’un objectif d ’observation,exprimé en fonction du scénariopédagogique


intermediate-datum

indicator

additional-datum

tracking-purpose track

use

use

is relevant of

raw-datum

is modeled by

content-datum

datum

defining

getting

using*

*

* *

UTL/P

UTL/Ttraceable-concept

istraceable*


Modèle conceptuel



4 primaire

4 dérivé








4 intermédiaire

• donnée brute



• indicateur

4 relève d ’un objectif d ’observation,exprimé en fonction du scénariopédagogique


intermediate-datum

indicator

additional-datum

tracking-purpose track

use

use

is relevant of

raw-datum

is modeled by

content-datum

datum

defining

getting

using*

*

* *

UTL/P

UTL/S UTL/Ttraceable-concept

istraceable*

EML et scénario spécifique


Modèle d’information d’un indicateur

Légende :< : OU[ : ET* : cardinalité 0..N+ : cardinalité 1..N? : cardinalité 0..1aucun signe : cardinalité 1

Defining

Getting

Using

Title

Description

Used-by

Example

?

+

Title

Description

Location?

?

*

Title

Component

Description

Discussion

Method

Example

?

?

+

*

Format

Pedagogical-context? +

Primary-datum

Derived-datum

Type

Role-involved

Tool

*

?

Indicator

Cardinality

Data

Tracking-purpose

*

Traceable-concept

Traceable-concept

Concept

Relationship

Title+

Tracking-purpose Type

Recipient-role

+

+

Description?

Text

UTL4DCL-Formula?


Defining

Getting

Using

Title

Description

Used-by

Example

?

+

Title

Description

Location?

?

*

Title

Component

Description

Discussion

Method

Example

?

?

+

*

Format


Primary-datum

Derived-datum

Type

Role-involved

Tool

*

?

Indicator

Cardinality

Data

Tracking-purpose

*

Traceable-concept

Traceable-concept

Concept

Relationship

Title+


Recipient-role

+

+

Description?

Text

UTL4DCL-Formula?



Des descripteurs utilisés par l ’homme…


Defining

Getting

Using

Title

Description

Used-by

Example

?

+

Title

Description

Location?

?

*

Title

Component

Description

Discussion

Method

Example

?

?

+

*

Format


Primary-datum

Derived-datum

Type

Role-involved

Tool

*

?

Indicator

Cardinality

Data

Tracking-purpose

*

Traceable-concept

Traceable-concept

Concept

Relationship

Title+


Recipient-role

+

+

Description?

Text

UTL4DCL-Formula?




D ’autres par la machine…


Defining

Getting

Using

Title

Description

Used-by

Example

?

+

Title

Description

Location?

?

*

Title

Component

Description

Discussion

Method

Example

?

?

+

*

Format


Primary-datum

Derived-datum

Type

Role-involved

Tool

*

?

Indicator

Cardinality

Data

Tracking-purpose

*

Traceable-concept

Traceable-concept

Concept

Relationship

Title+


Recipient-role

+

+

Description?

Text

UTL4DCL-Formula?




D ’autres par la machine…

Formalisation d ’indicateurs partageableset interopérables


Defining

Getting

Using

Title

Description

Used-by

Example

?

+

Title

Description

Location?

?

*

Title

Component

Description

Discussion

Method

Example

?

?

+

*

Format


Primary-datum

Derived-datum

Type

Role-involved

Tool

*

?

Indicator

Cardinality

Data

Tracking-purpose

*

Traceable-concept

Traceable-concept

Concept

Relationship

Title+


Recipient-role

+

+

Description?

Text

UTL4DCL-Formula?



Exprime formellement le moyend ’observation

Opère sur les descripteurs Dataet Format


DCL4UTLLangage d ’expression des moyens d ’observation

• Objectifs

4 Formalisation des transformations et combinaisons de données

4 Représentation générique d ’un moyen d ’observation = d ’une méthode de calcul d ’unindicateur ou d ’une donnée intermédiaire

4 Alternative à la spécification d ’un outil externe

4 Capitalisation de l ’expertise de calcul des indicateurs

• Caractéristiques [Phâm Thi Ngoc, 2008]

4 Langage générique, intégré dans UTL

4 Syntaxe de base• cal <Expression [as <Conditions>]> where <Data>

4 Calcul de l ’expression à base• d ’opérateurs (arithmétiques, logiques, relationnels)• de fonctions (statistiques, filtrages,…)

4 Ouverture sur des opérateurs et fonctions externes• des outils d ’analyse existants• des opérateurs ou fonctions spécialement développés pour une application donnée


DCL4UTLLangage d ’expression des moyens d ’observation

• Objectifs

4 Formalisation des transformations et combinaisons de données

4 Représentation générique d ’un moyen d ’observation = d ’une méthode de calcul d ’unindicateur ou d ’une donnée intermédiaire

4 Alternative à la spécification d ’un outil externe

4 Capitalisation de l ’expertise de calcul des indicateurs

• Caractéristiques ( thèse de Phâm Thi Ngoc - article RJC EIAH)

4 Langage générique, intégré dans UTL

4 Syntaxe de base• cal <Expression [as <Conditions>]> where <Data>

4 Calcul de l ’expression à base• d ’opérateurs (arithmétiques, logiques, relationnels)• de fonctions (statistiques, filtrages,…)

4 Ouverture sur des opérateurs et fonctions externes• des outils d ’analyse existants• des opérateurs ou fonctions spécialement développés pour une application donnée

3 possibilités pour exprimer le descripteur Getting.Method.Tool d ’une donnée dérivée :• donner une description textuelle de ce que doit faire l ’outil• préciser une URL d ’un outil externe existant• définir la formule de calcul avec DCL4UTL


Cas d ’utilisation et exemples


Ingénierie / Conception première

• Rôles considérés

4 Concepteur• Un enseignant conçoit un scénario pédagogique pour un EIAH cible• En utilisant un EML donné• En intégrant dans sa spécification la définition des indicateurs d ’observation

4 Analyste et développeur• Interprètent la définition des indicateurs• Opérationnalisent les moyens d ’observation (automatiques ou non)

Concepteur

Développeur

Analyste

Indicateur

définit

Moyen d’observation

value

opérationnalise

opérationnaliseinterprète

interprète



• Scénario type d ’usage

4 Le concepteur• définit (facette « Defining ») ou réutilise les indicateurs et les associe à des éléments du scénario

pédagogique par l’intermédiaire d’un objectif d’observation (« Using »)

4 Le développeur• définit si besoin le schéma XML représentant le méta-modèle pédagogique (i.e. le méta-modèle

de l ’EML utilisé par le concepteur) sous la forme de concepts traçables (« Traceable-concept »)

4 L’analyste• spécifie ou réutilise les moyens d’observation pour établir les indicateurs (facette « Getting »)

• le développeur est sollicité pour adapter les moyens de collecte et pour instrumenter les moyensd’observation nécessitant une implémentation

• utilise UTL étendu par le schéma XML des concepts traçables• le scénario pédagogique est transformé en un fichier XML conforme à UTL étendu

• utilise ce fichier XML pour extraire de la trace brute les données observées• applique les moyens d’observation aux observés pour reconstruire (valuer) un indicateur



• Exemple : collaboration ELHIT / LIUM (2008)

4 Système : VAP-S (Virtual Action Planing Supermarket) [KLINGER 06]

4 Objectif• Ré-apprentissage pour des personnes ayant subi des dommages causés par un accident

vasculaire-cérébral (AVC)

4 Scénario type• But : le patient a une liste de courses à faire dans un supermarché virtuel• Activités : repérage, sélection, passage en caisse, etc.• La déambulation du patient est tracée par le système. Le concepteur (équipe médicale) souhaite

repérer les déambulations incohérentes pour orienter le ré-apprentissage



• Exemple : VAP-S (Virtual Action Planning Supermarket) [KLINGER 06]

4 Le concepteur définit un indicateur (descripteur « Defining.Description »)• le nombre de bonnes actions par patient pour un scénario donné

4 L ’analyste et le concepteur négocient la description• une « bonne action » est un passage à un point de contrôle de l ’environnement cohérent avec le

scénario (ex: faire la queue à une caisse ouverte, s ’arrêter à un étal exposant des articles de laliste de course, sélectionner un article de la liste, etc.)

définition de données additionnelles qualifiant la cohérence d’un passage à un point de contrôleen fonction du scénario

4 L ’analyste et le développeur opérationnalisent la méthode de calcul de l ’indicateur• Représentation des données brutes (extraction, de la trace, du passage d’un patient aux points

de contrôle, et représentation en UTL)• Représentation des données additionnelles (qualification d’un passage à un point de contrôle)• Représentation des données intermédiaires (qualification d’un passage, par patient)• Représentation de l’indicateur

Using.Format :

<format> <indicator type="VAPS-I-BA"> <patient name="string"> <nbBonnesActions>integer </ nbBonnesActions > </patient> </indicator> </format>

Getting.Method.Tool.Description.DCL4UTL-Formula :

cal I.patient[name]= ID.patient ; I.patient.nbBonnesActions = count(ID.action, ID.patient) as filter(ID.evaluation=="bonne")

Avec I, l ’indicateur considéré et ID une donnée intermédiairequalifiant le passage d ’un patient à un point de contrôle


Réingénierie


4 Concepteur• Un enseignant modifie un scénario pédagogique, la spécification des indicateurs ou le modèle du

langage de modélisation qu’il utilise• En interprétant les indicateurs calculés au cours d ’une session passée

4 Analyste et développeur• Interprètent la définition des indicateurs• Opérationnalisent les moyens d ’observation (automatiques ou non)

Concepteur

Développeur

Analyste

Indicateur

modifie


value

opérationnalise

opérationnalise

analyse

interprète

interprète


Réingénierie


4 Le concepteur• accède aux observés via des outils de visualisation (hors du spectre de nos travaux actuels) grâce

aux descripteurs Using.Data et Using.Format des indicateurs• décide de la réingénierie du scénario pédagogique, des indicateurs (modification / ajout /

suppression) ou du modèle du langage de modélisation

4 Le développeur• redéfinit si besoin le schéma XML représentant le méta-modèle pédagogique (i.e. le méta-modèle

de l ’EML utilisé par le concepteur) sous la forme de concepts traçables (« Traceable-concept »)

4 L’analyste• spécifie ou réutilise les moyens d’observation pour prendre en compte les modifications des

indicateurs (facette « Getting »)• le développeur est sollicité pour adapter les moyens de collecte et pour instrumenter les moyens

d’observation nécessitant une implémentation

• utilise UTL étendu par le schéma XML des concepts traçables• le scénario pédagogique est transformé en un fichier XML conforme à UTL étendu

• utilise ce fichier XML pour extraire de la trace brute les données observées• applique les moyens d’observation aux observés pour reconstruire (valuer) un indicateur

4 Les trois acteurs• capitalisent les artefacts significatifs obtenus


Réingénierie

• Exemple : collaboration SYSCOM / LIUM (2007)

4 Système : Exerciseur de modélisation UML

4 Objectif• pratique de la modélisation objet, par la description d ’un projet à l ’aide d ’un éditeur de

diagrammes UML.

4 Scénario type• But : l’étudiant (de DUT SRC) doit réaliser 4 types de diagrammes UML et rédiger un compte-

rendu.• La planification de l’activité est libre (pauses, ordonnancement des activités, etc.) mais fait

l’objet de l’observation (un enregistreur de frappes trace l ’ensemble des actions clavier / souris).• Les enseignants souhaitent connaître, par type d’étudiant (1ère ou 2nde année) et par activité, la

différence entre le temps effectif passé et le temps moyen estimé par l ’enseignant.

Modèle initial(méta-modèle de l ’EML)

Instance(scénario prédictif)

Activity

Time-to-finish

Activities

is performed in


Réingénierie

• Exemple : collaboration SYSCOM / LIUM (2007)

4 le concepteur souhaite mettre en place un nouvel indicateur• le dépassement, par étudiant et par activité, du temps moyen estimé.

4 l ’analyste et le développeur opérationnalisent le calcul de l ’indicateur• définition de données dérivées permettant (1) de calculer le temps passé par activité et (2)

d ’établir le type d’étudiant

4 l’analyste, le développeur et le concepteur négocient la représentation de l ’indicateur• le méta-modèle de l ’EML est modifié pour permettre la représentation de l’indicateur

Modèle obtenu(méta-modèle de l ’EML)

Instance(scénario effectif)

Activity

Time-to-finish

Activities

is performed in

Delay

Targetis performed by

has needed


Adaptation


4 Usager• Un usager (enseignant, apprenant) interagit avec un EIAH et d’autres usagers selon un scénario

pédagogique donné• Il perçoit l’évolution de l’activité à l ’aide d’indicateurs mis à sa disposition• Il modifie en cours d’activité le scénario pédagogique initial et/ou le jeu d’indicateurs mis à sa

disposition

Usager

Indicateur

analyse


value

modifie


Adaptation


4 L ’usager• accède aux observés via des outils de visualisation (hors du spectre de nos travaux actuels) grâce

aux descripteurs Using.Data et Using.Format des indicateurs• décide de l ’adaptation du scénario pédagogique ou des indicateurs (modification / ajout /

suppression)

4 Le système• enregistre les modifications du scénario pédagogique et leur contexte (notamment les valeurs

d ’indicateurs) à des fins de réingénierie et de capitalisation


Adaptation

• Exemple : projet PEDALO du LIUM (2009)

4 Système : Hop3X - Exerciseur de programmation JAVA (thèse de Aïna Lekira - article RJC EIAH)

4 Objectif• Pratique de la programmation JAVA, par la résolution d ’exercices avec un EIAH

4 Scénario type• But : l ’étudiant doit réaliser un projet Java, guidé par un ensemble de questions progressives• La planification de l ’activité est suggérée (jeu de questions) mais reste libre. L ’intégralité de

l ’interaction est tracée. Un tuteur enseignant régule l ’activité à distance. Il peut visualiser àchaque instant le poste étudiant et dispose d ’indicateurs sur l ’activité.

• Le tuteur peut intervenir selon plusieurs modalités (échange synchrone audio ou textuel avecl ’étudiant, ajout/suppression d ’activité, réponse partielle à la question, etc.), de sa propreinitiative ou en réponse à une sollicitation de l ’étudiant.


Adaptation


4 l’étudiant doit créer une classe Point, avec 2 propriétés (les coordonnées x et y)• l’étudiant ne définit pas de constructeur spécifique

4 Le tuteur est alerté par un indicateur• il sollicite l ’étudiant pour lui montrer son erreur


Adaptation



4 Le tuteur est alerté par un indicateur• il sollicite l ’étudiant pour lui montrer son erreur


Adaptation



4 le tuteur est alerté par un indicateur• il sollicite l ’étudiant pour lui montrer son erreur• ajout d ’une question supplémentaire

4 l ’étudiant constate son erreur• sans constructeur spécifique, un point est toujours créé en coordonnées (0,0)


Adaptation



4 le tuteur est alerté par un indicateur• il sollicite l ’étudiant pour lui montrer son erreur• ajout d ’une question supplémentaire

4 l ’étudiant constate son erreur• sans constructeur spécifique, un point est toujours créé en coordonnées (0,0)


Discussion

Synthèse, questions ouvertes et perspectives


Instrumentation des utilisateurs d ’UTL

• Prototypes d ’éditeur et interpréteur

4 Application Web permettant d ’éditer et de publier, par projet, l ’ensemble des types dedonnées d ’UTL (c.f. atelier 1)

4 Interpréteur calculant les indicateurs en temps réel comme après une session


Comment améliorer l’utilisabilité pour l ’enseignant ?

• Modélisation d ’un indicateur : tâche complexe

4 seule la facette « Defining » d ’un indicateur est accessible pour un néophyte• la composition des différents types de données pour définir un indicateur demande de l ’expertise• la formalisation du moyen d ’observation (par exemple avec le descripteur « DCL4UTL-Formula »)

est complexe

• Travaux en cours au LIUM

4 piste explorée : inclure dans l ’environnement de conception, des moyens d ’édition desbesoins d ’observation, dans le langage métier de l ’enseignant

4 approche IDM / DSM à base de méta-modélisation• générer l ’éditeur de scénarios par analyse du méta-modèle du langage de modélisation métier• travaux en cours avec l ’environnement EMF/GMF



• Tâche trop complexe


est complexe



4 approche IDM / DSM à base de méta-modélisation• générer l ’éditeur de scénarios par analyse du méta-modèle du langage de modélisation métier





est complexe



4 approche IDM / DSM à base de méta-modélisation• générer l ’éditeur de scénarios par analyse du méta-modèle du langage de modélisation métier• analyser le scénario produit et le méta-modèle pour guider l ’interaction enseignant /

environnement de conception pour définir des indicateurs (thèse de Boubekeur Zendagui)





est complexe



4 approche IDM / DSM à base de méta-modélisation• générer l ’éditeur de scénarios par analyse du méta-modèle du langage de modélisation métier• analyser le scénario produit et le méta-modèle pour guider l ’interaction enseignant /

environnement de conception pour définir des indicateurs (thèse de Boubekeur Zendagui)


Comment instrumenter l ’adaptation ?

• continuer la conception du scénario pédagogique dans l ’usage

4 thèse de El Amine Ouraiba - article RJC EIAH

4 approche IDM / DSM• disposer d ’un éditeur métier du scénario pédagogique accessible pendant la session• reconfigurer en dynamique l ’EIAH suite à une modification du scénario• possible avec des EIAH ad hoc (en cours de développement pour Hop3X)• problème restant posé pour des environnements existants (Moodle, etc.)

• modifier le jeu d ’indicateurs disponibles

4 favoriser la réutilisation• impossible, même pour un expert, d ’éditer en session un nouvel indicateur• capitaliser les indicateurs sous forme de patrons instanciables et exécutables• donner les moyens de combiner simplement des indicateurs existants (jeu d ’opérateurs simples

tels ET/OU logiques, manipulation graphique…)

• prendre une décision d ’adaptation

4 travaux de Clara Inès Pena de Carillo, chercheur invité au LIUM

4 modélisation du contexte et suggestion d ’adaptation• capitalisation des décisions d ’adaptation caractérisées par un contexte modélisé notamment par

un ensemble d ’indicateurs valués• pattern-matching avec le contexte courant en cours de session• suggestion de prise de décision


Comment aider à la définition des indicateurs ?

• « stimuler » la définition d ’indicateurs lors de la conception

4 approche par l ’analyse du scénario et du méta-modèle de l ’EML (thèse de B. Zendagui)• introspection du méta-modèle et du scénario pour identifier les possibilités d ’observation• interaction avec l ’enseignant pour identifier les indicateurs pertinents

4 approches par la mise à disposition des possibilités techniques de l ’environnementd ’apprentissage

• thèse de Alain Corbière : définition de modèles pivots de communication entre les univers métierde l ’enseignant et du développeur

• thèse de Aymen Abedmouleh : modélisation métier des plates-formes d ’apprentissage• objectif : modéliser les possibilités (i.e. le « métier » d ’une plate-forme), y compris les

possibilités d ’observation de l ’activité, et interagir avec l ’enseignant• proximité avec les travaux du LIRIS, notamment avec la notion de trace modélisée et les

récents développements du projet SBT [Djouad et al., STICEF 2009]• « ce qu’il est possible de faire avec l ’artefact » n ’est pas vu comme une contrainte mais

comme un ensemble de possibilités à exploiter (c.f. projet CAViCoLA)







• thèse de Aymen Abedmouleh : modélisation métier des plates-formes d ’apprentissage• objectif : modéliser les possibilités (i.e. le « métier » d ’une plate-forme), y compris les possibilités

d ’observation de l ’activité, et interagir avec l ’enseignant• proximité avec les travaux du LIRIS, notamment avec la notion de trace modélisée et les récents

développements du projet SBT [Djouad et al., STICEF 2009]• « ce qu ’il est possible de faire avec l ’artefact » n ’est pas vu comme une contrainte mais comme

un ensemble de possibilités à exploiter (c.f. projet CAViCoLA)

Processus d ’analyse de l ’interaction (projet IA et CAViCoLA)







• thèse de Aymen Abedmouleh : modélisation métier des plates-formes d ’apprentissage• objectif : modéliser les possibilités (i.e. le « métier » d ’une plate-forme), y compris les

possibilités d ’observation de l ’activité, et interagir avec l ’enseignant• proximité avec les travaux du LIRIS, notamment avec la notion de trace modélisée et les

récents développements du projet SBT [Djouad et al., STICEF 2009]• « ce qu’il est possible de faire avec l ’artefact » n ’est pas vu comme une contrainte mais

comme un ensemble de possibilités à exploiter (c.f. projet CAViCoLA)

• Supporter la réingénierie pour enrichir le scénario

4 capitaliser et contextualiser les décisions d ’adaptation pour faciliter leur prise en compteen réingénierie

4 exemple Hop3X• chaque décision tutorale peut être capitalisée et caractérisée par un modèle du contexte et un

jeu d ’indicateurs valués• en fonction de la pertinence de la décision et de son impact sur l ’apprentissage, elle peut être

incorporée comme une variante du scénario pédagogique initial


Merci pour votre attention


Modèle du contexte

• Modèle générique


Modèle du contexte

• Modèle du contexte pour Hop3X

Documents

Usages des traces pour la conception continue d ’un EIAH