Mulce : échange de corpus Mulce : échange de corpus d’apprentissage d’apprentissage

multimodauxmultimodaux

Workshop Psychologie et Workshop Psychologie et ApprentissageApprentissage

Thierry Chanier, Marie-Laure Betbeder, Maud Ciekanski, Marie-Noelle Lamy, Christophe Reffay

28 mai 2010, Paris

Rappel des objectifs et Rappel des objectifs et attendus scientifiques et attendus scientifiques et opérationnelsopérationnels

22

Cycle expérimentalCycle expérimental

Scénariopédagogique

HypothèsesQuestionsrecherche

Analyses

Traces

Prod.

Descrip.Acteurs

HypothèsesQuestionsrecherche

t0

t1

Instanciation

Communauté de recherche

Publi.

Dispositif

outil

(Reffay, 2008)

Hypothèse -> Expérience -> Résultat

Cycle expérimental ou Cycle expérimental ou impressionnisme ?impressionnisme ?

En épistémologie des sciences, opposition En épistémologie des sciences, opposition entre sciences de l’entre sciences de l’exemplumexemplum et sciences et sciences du du datumdatum (Laks, 2007) (Laks, 2007)

En AL&SIC (didactique ?), une certaine En AL&SIC (didactique ?), une certaine habitude d’analyser données parcellaires. habitude d’analyser données parcellaires. Sous prétexte d’analyse « qualitative », on Sous prétexte d’analyse « qualitative », on risque de publier des impressionsrisque de publier des impressions

Impression de chercheur1 + impression de Impression de chercheur1 + impression de cherch2 = Recherche scientifique ?cherch2 = Recherche scientifique ?

44

Recherche et scientificité Recherche et scientificité (1/2)(1/2)

Quelle Quelle validitévalidité accordée à une accordée à une expérimentation rapportée dans un article expérimentation rapportée dans un article (cf. Henri, 2005 sur situations collaboratives en FAD)(cf. Henri, 2005 sur situations collaboratives en FAD) ? ? S'applique-t-elle : S'applique-t-elle : – A un contexte donné ? Avec un dispositif fixé ? A un contexte donné ? Avec un dispositif fixé ?

Pour une population donnée ? Pour une culture Pour une population donnée ? Pour une culture ? Pour un type d’apprentissage spécifique ?? Pour un type d’apprentissage spécifique ?

– Données et contexte manquent aux chercheurs Données et contexte manquent aux chercheurs qui lisent publication (voir cycle IST)qui lisent publication (voir cycle IST)

Recherche et scientificité Recherche et scientificité (2/2)(2/2)

Il faudrait pouvoir Il faudrait pouvoir – reproduirereproduire une expérimentationune expérimentation à partir d'un à partir d'un

scénario explicitéscénario explicité– Sur des données sources identiques ; Sur des données sources identiques ; refaire refaire

des analysesdes analyses suivant même étude des suivant même étude des variables, suivant autres variables (invalider, variables, suivant autres variables (invalider, confirmer, compléter) : cas rares, cf. Kernconfirmer, compléter) : cas rares, cf. Kern

– Construire de nouvelles analysesConstruire de nouvelles analyses sur d'autres sur d'autres faites précédemment : cf. (Corbel, Girardot, faites précédemment : cf. (Corbel, Girardot, Lund)Lund)

Objectifs initiauxObjectifs initiaux

Création et la diffusion de corpus d’apprentissage (LETEC - Learning and Teaching Corpus -)(LETEC - Learning and Teaching Corpus -) : non : non seulement les données résultats d’une formation mais seulement les données résultats d’une formation mais également son contexteégalement son contexte

échanges entre les communautés de chercheurséchanges entre les communautés de chercheurs : :– 1) les structurer et les formater suivant un modèle (à inventer) 1) les structurer et les formater suivant un modèle (à inventer)

compatible avec les standards existants pour les corpus et les compatible avec les standards existants pour les corpus et les langages de conception pédagogique ;langages de conception pédagogique ;

–   2) les déposer sur un serveur répondant aux principes 2) les déposer sur un serveur répondant aux principes d’interopérabilité et d’accès libre ;d’interopérabilité et d’accès libre ;

–   3) élaborer une charte éthique (car nous travaillons sur des 3) élaborer une charte éthique (car nous travaillons sur des productions d’individus) et des contrats de cession des droits et productions d’individus) et des contrats de cession des droits et d’utilisation en rapport.d’utilisation en rapport.

Méthodologie Méthodologie : la chaîne de traitement, transcription, : la chaîne de traitement, transcription, annotations, étiquetages, analyses, et aux outils annotations, étiquetages, analyses, et aux outils associés. associés.

77

Point sur les travauxPoint sur les travaux

1) Corpus d’apprentissage , corpus global1) Corpus d’apprentissage , corpus global

88

Notion de corpusNotion de corpus

99

- Questions- Objet- Problématique- Observables- Protocole de recueil des donnés

Schéma simplifié des parties d’un corpus globalSchéma simplifié des parties d’un corpus global

Instanciation

Scénario pédagogique

Protocole de recherche

Licence publique

Licence privée

Analyses

Contexte

- Activités- Rôles - Environnements

- Acteurs- Outils- Traces

-Interactions-Logs-produits

Observations du contexte

- Termes cession des droits- Contrats d’utilisation- Lien propriétaire

- Transcriptions- Analyses

Ensemble de données et de traces issues d’une Ensemble de données et de traces issues d’une expérimentation, enrichies par des informations expérimentation, enrichies par des informations techniques, humaines, pédagogiques et scientifiques techniques, humaines, pédagogiques et scientifiques permettant leur analyse en contexte.permettant leur analyse en contexte.

Structure d’un corpusStructure d’un corpus

1111

Scénario pédagogique : exemple Scénario pédagogique : exemple SimuligneSimuligne

Niveau activité : activités apprentissage / support, environnements, rôles

Logiciel Motplus (Licef, 2007)

Instanciation des acteurs et des environnements

DDescription des escription des acteursacteurs : qui sont les : qui sont les acteursacteurs de la situation (tuteurs, apprenants), de la situation (tuteurs, apprenants), quels sont les quels sont les groupesgroupes. .

Description des environnements Description des environnements technologiques technologiques : déterminer quels sont les : déterminer quels sont les outilsoutils utilisés utilisés et déterminer comment (selon et déterminer comment (selon quelles caractéristiques) les quelles caractéristiques) les tracestraces / / transcriptionstranscriptions seront seront organiséesorganisées..

IncorporationIncorporation des traces / transcriptions dans des traces / transcriptions dans ces environnementsces environnements

Schéma de structuration des données Schéma de structuration des données recueilliesrecueillies

Spécifications proposées par MULCE.Plate-forme, espaces de travail, type d'acte

Point sur les travauxPoint sur les travaux2) Le corpus global et ses objets associés2) Le corpus global et ses objets associés

1515

Granularités autour d’un LETECGranularités autour d’un LETEC

Corpus globalCorpus global

– Données + contexte liées à une formation considérée Données + contexte liées à une formation considérée dans son ensembledans son ensemble

Corpus distinguableCorpus distinguable

– Sous-corpus rassemblant un ensemble de données Sous-corpus rassemblant un ensemble de données d'une taille suffisante pour être l'objet d'une recherche d'une taille suffisante pour être l'objet d'une recherche spécifique, données dont on veut caractériser la spécifique, données dont on veut caractériser la cohésion d'ensemble par rapport au corpus de cohésion d'ensemble par rapport au corpus de références (global de base) références (global de base) + contexte+ contexte

Corpus étenduCorpus étendu – 1 ou plusieurs niveaux de description / analyse + corpus 1 ou plusieurs niveaux de description / analyse + corpus

de basede base– Transcriptions font partie du corpus de base et corpus Transcriptions font partie du corpus de base et corpus

distinguablesdistinguables

Objectifs variés de ces corpus Objectifs variés de ces corpus distinguablesdistinguables

1) Rassembler des données 1) Rassembler des données prêtes à l’analyse avec mise en prêtes à l’analyse avec mise en forme pour outils / logiciels libresforme pour outils / logiciels libres

2) Partager analyses avec outils 2) Partager analyses avec outils associésassociés

3) Publication et réplication3) Publication et réplication

1717

Type 3 : Publication et Type 3 : Publication et réplicationréplication

““Replication data sets Replication data sets include the original data include the original data and any other information needed to and any other information needed to reproduce the numerical results in a reproduce the numerical results in a published work.published work.

[…] making publicly […] making publicly available a replication data available a replication data set for each of their empirical articles or set for each of their empirical articles or books.books.

Citation credit should be apportioned both for Citation credit should be apportioned both for the original article and separately for the the original article and separately for the data. “data. “

1818

Gary King (2007). "An Introduction to the Dataverse Network as an Infrastructure for Data Sharing," Sociological Methods and Research, Vol. 32, No. 2

Simuligne et réseaux sociauxSimuligne et réseaux sociaux

1919

Reffay, C. & Chanier, T. (2003a). How social network analysis can help to measure cohesion in collaborative distance-learning", in (CSCL'2003)http://edutice.archives-ouvertes.fr/edutice-00000422

Voir corpus mce-simu-sna.xml sur notre site http://mulce-pf.univ-fcomte.fr/PlateFormeMulce/

Type 1Type 1

Rassembler des données prêtes à Rassembler des données prêtes à l’analyse avec mise en forme l’analyse avec mise en forme pour outils / logiciels librespour outils / logiciels libres

Formation SimuligneFormation Simuligne ForumsForums Outil CalicoOutil Calico

2020

Type 1 exemple fiche méta corpusType 1 exemple fiche méta corpus

2121

Corpus mce-simu-forum-all, voir http://mulce-pf.univ-fcomte.fr/PlateFormeMulce/

2222

Exemple forum SimuligneDéposé sur siteCalico

http://woops.crashdump.net/calico/index.php

Type 1Type 1

Rassembler des données prêtes à Rassembler des données prêtes à l’analyse avec mise en forme l’analyse avec mise en forme pour outils / logiciels librespour outils / logiciels libres

Formation CopéasFormation Copéas Environnement audio-graphique Environnement audio-graphique

synchronesynchrone Outil TatianaOutil Tatiana

2323

2424

Exemple Lyceum (Open University)Exemple Lyceum (Open University)

1 composant spatial

2 outils de communication

3 outils de production collaborative

Modes et modalités dans Lyceum

Textuel

Parole

Graphique

Iconique

Spatial

Chat, Traitement de texte, Carte conceptuelle, Tableau banc

Audio

Carte conceptuelle, Tableau banc

Vote, entrée/sortie, absence momentanée

Déplacement (salle + module)

Modes Modalités

(Chanier & Vetter, 2006)

Transcription interactions Transcription interactions multimodalesmultimodales

E4T5 herve tpa 10:43:38 10:43:46 what's mean euh + mainly | ++ please what's mean mainly |

E4T5 al tpa 10:43:46 10:43:51 mainly is euh + usually ++

E4T5 tim tpc 10:43:49 10:43:49 principally

E4T5 chris tpa 10:43:51 10:43:59 but euh what euh do you write the definition of ESL | it's not the + it's not the question

E4T5 tim tpc 10:43:58 10:43:58 generally

E4T5 al tpa 10:43:59 10:44:16 no because because the + the the interactive element + on the whiteboard + euh + name ESL games + ESL help + ESL quizz ++

E4T5 herve tpa 10:44:16 10:44:18 yes +

E4T5 chris tpa 10:44:18 10:44:24 yes but ++ but it's not important I think +

E4T5 al tpa 10:44:24 10:44:32 I euh +++ for me euh ++ it it's important ++

E4T5 chris tpa 10:44:32 10:44:33 ok

E4T5 sil tpa 10:44:33 10:44:42 9

E4T5 chris tpa 10:44:42 10:44:46 do you want to answer at the third ++ euh question |

E4T5 tim tpc 10:44:45 10:44:45 ... are both equivalents of "mainly"

E4T5 sil tpa 10:44:46 10:44:52 6

E4T5 al tpa 10:44:52 10:44:54 euh + yes

E4T5 sil tpa 10:44:54 10:45:23 29

E4T5 tim as 10:45:04 10:45:04 s

E4T5 tim prod 10:45:04 10:45:04 TT(sortir)

E4T5 al tpa 10:45:23 10:45:30 I euh + for me it's a games ++ maybe + I don't know <rires>

E4T5 sil tpa 10:45:30 10:45:51 21

E4T5 chris prod 10:45:35 10:45:41 TT(créer) : 'perhaps games

E4T5 al tpa 10:45:51 10:46:00 euh worst euh + of them is euh ++ the more bad +++

E4T5 chris tpa 10:46:00 10:46:07 yes + it's euh the more bad + but you must say the worst +

Tutor

Learner asking for help

Liens entre tours de parole et Liens entre tours de parole et actesactes

Réponse + Question, AR4(aud79)

Question,TutR(aud80) Réponse, AR3,AR2,AR6

(vot22,23,24)

Réponse, AR7 (vot21)

Explication, AR4(aud82)

Explication, AR6 (clav23)

Explication, AR3, AR2 (clav24,25)

Explication, AR4 (clav26)

Synthèse, Question, TutR(aud83)

Réponse, TutR, AR1(vot25,26)

Acceptation, AR1 (clav27)

Reponse,AR4(vot27)Question,TutR

(aud85)Réponse,AR1 (aud86)

Commentaire,TutR (aud88)

Acceptation,AR1

(aud89)

Commentaire,TutR(aud90)

Audio Vote Clavardage

Exemple d’analyse : Exemple d’analyse : repartition of participation between repartition of participation between

learners learners (false beginners)(false beginners)

24%

21%

8%

20%

12%

15%

AP1

AP2

AP3

AP8

AP10

AP13

3%12%

10%

13%

21%

41%

AP1

AP2

AP3

AP8

AP10

AP13

Audio Chat

AP13

Du corpus d’apprentissage à Du corpus d’apprentissage à l’outil d’analysel’outil d’analyse

2929

Corpus d’apprentissage(interactions format Mulce-struct)

Corpus d’apprentissage(format Tatiana)

Conversions

Analyses

3030

Transcription Mulce simplifiée au format Tatiana

vidéo

Alignement vidéo et transcription

Type 2 : Partager analyses avec outil TatianaType 2 : Partager analyses avec outil Tatiana

3131

Point sur les travauxPoint sur les travaux3) Banque de corpus, aspects techniques3) Banque de corpus, aspects techniques

3232

Données primaires avant Données primaires avant incorporation dans Corpusincorporation dans Corpus

Expérimentation Simuligne Expérimentation Simuligne : 30 000 fichiers répartis dans : 30 000 fichiers répartis dans 2708 dossiers correspondant, entre autres à : Interactions: 2708 dossiers correspondant, entre autres à : Interactions: 2686 mess. forum, 4062 courriels, 5680 tours de clavardage 2686 mess. forum, 4062 courriels, 5680 tours de clavardage ; Productions : 93 doc. textuels, 28 fichiers audio ; ; Productions : 93 doc. textuels, 28 fichiers audio ; Productions affichées : 342 pages web incluant 115 images Productions affichées : 342 pages web incluant 115 images et 44 fichiers audio ; guide apprenant, guide tuteur, guide et 44 fichiers audio ; guide apprenant, guide tuteur, guide natifs.natifs.

Expérimentation Copéas Expérimentation Copéas : 37 vidéos (27h), 512 autres : 37 vidéos (27h), 512 autres fichiers dans 117 dossiers., 180 000 lignes de traces et fichiers dans 117 dossiers., 180 000 lignes de traces et transcription dans Mulce-struct. Ceux-ci correspondent à : transcription dans Mulce-struct. Ceux-ci correspondent à : Interactions : 5506 tours de parole audio (8h29 en temps Interactions : 5506 tours de parole audio (8h29 en temps cumulé), 1529 tours de clavardage, 16 séances Lyceum ; cumulé), 1529 tours de clavardage, 16 séances Lyceum ; Protocole recherche : 14 questionnaires apprenants, 9 Protocole recherche : 14 questionnaires apprenants, 9 entretiens, 9 entretiens, 9 Critical Event RecCritical Event Recall (vidéos et audio) ; guide all (vidéos et audio) ; guide apprenant.apprenant.

3333

Construction de la banque de Construction de la banque de corpuscorpus

DifficultésDifficultés– Recrutements ingénieur et Recrutements ingénieur et

technicien informatiquetechnicien informatique

3434

Nombre TailleCorpus globaux 2Corpus distinguables 25Autre objet 1Total 28 402 Mo

Ressources extérieures 49 15 Go

http://mulce-pf.univ-fcomte.fr/

ChercherTéléchargerParcourir

Banque de Corpus MULCE

Repository MULCE

OLACMoissonneur

Meta

data

Informer

http://mulce.org

Indexer

BD Description

Architecture plate-forme / banque de Architecture plate-forme / banque de corpuscorpus

Tomcat, Mysql, Linux, Debian

Résultats scientifiquesRésultats scientifiques

3636

Banque de corpus : Banque de corpus : Mulce-pfMulce-pf

3737

http://mulce-pf.univ-fcomte.fr/http://mulce-pf.univ-fcomte.fr/

Sélection des corpusSélection des corpus

3838

Résultat sélection : listage Résultat sélection : listage corpuscorpus

3939

Fiche d’un corpusFiche d’un corpus

4040

Ressource extérieureRessource extérieure

4141

Méthodologie MulceMéthodologie MulceSite de documentation : Mulce.orgSite de documentation : Mulce.org

4242

Mulce.org : site de Mulce.org : site de documentationdocumentation

4343

4444

Exemple :éthiqueEtdroit

Démo sur outilsDémo sur outils

4545

Communications en 2009Communications en 2009

EPAL : EPAL : colloque Echanger pour apprendre en lignecolloque Echanger pour apprendre en ligne (EPAL). Grenoble, juin 2009. (EPAL). Grenoble, juin 2009.

CSCL’2009, juin à Rhodes :CSCL’2009, juin à Rhodes :– Workshop “Workshop “CommonCommon Objects for Productive Multivocality Objects for Productive Multivocality

in Analysisin Analysis” ” – Workshop “Workshop “Interaction Analysis and Visualization for Interaction Analysis and Visualization for

Asynchronous CommunicationAsynchronous Communication Conférence OASPA Conférence OASPA “Open Access Scholarly “Open Access Scholarly

Publishing”Publishing”. : Représentation de Mulce et de la revue . : Représentation de Mulce et de la revue STICEF , septembre 2009 à Lund, Suède.STICEF , septembre 2009 à Lund, Suède.

Conférence EC-TEL (Conférence EC-TEL (European Conference on European Conference on Technology Enhance LearningTechnology Enhance Learning), Nice, oct. 2009 : ), Nice, oct. 2009 : “Sharing corpora and tools to improve interaction “Sharing corpora and tools to improve interaction analysis”analysis”

4646

Autres résultatsAutres résultats

Publications Publications – Revues, conférences, etc. dépôt Revues, conférences, etc. dépôt

dans dans edutice.archives-ouvertes.frSélection par noms auteurs Mulce

Partenariats– Voir section suivante

4747

Retombées et Retombées et perspectivesperspectives

ImpactsImpacts

Dépôts corpus par auteurs hors MulceDépôts corpus par auteurs hors Mulce

Atelier international Eurocall 2010Atelier international Eurocall 2010

4848

Impact : cluster ISLE Rhônes-Impact : cluster ISLE Rhônes-AlpesAlpes

4949

Corpus non Mulce en préparation Corpus non Mulce en préparation : : Collaborative Inquiry in MathsCollaborative Inquiry in Maths

Gerry Stahl, Stephen Weimar, Wesley Gerry Stahl, Stephen Weimar, Wesley Shumar, Drexel University Shumar, Drexel University

Outils travail collaboratif : Outils travail collaboratif : Virtual Math Forum Virtual Math Forum (VMF)(VMF)

SID Mulce : SID Mulce : Memberlist : 6 learners, 2 tutors (one Memberlist : 6 learners, 2 tutors (one active), 1 technical, 3 researchers ; 12 synchronous sessions active), 1 technical, 3 researchers ; 12 synchronous sessions totalizing 5 hours of interaction spanned on 6 not empty totalizing 5 hours of interaction spanned on 6 not empty working days => 12 workspaces; 2487 acts: working days => 12 workspaces; 2487 acts: enter/leave(72), chat acts (1404), production acts in the enter/leave(72), chat acts (1404), production acts in the white board (1011)white board (1011)

5050

Virtual math teams are small groups of learners of mathematics who meet online to discuss math. They encounter stimulating math problems and engage in intense discussions of math issues among peers. The online meeting of students from different backgrounds can spark interchanges and collaborative inquiry that lead to creative insight. The meeting can also produce records of the interactions, which researchers can study to understand the group processes involved in collaborative math exploration."

Corpus non Mulce en préparation Corpus non Mulce en préparation : : écriture collaborativeécriture collaborative

Gregory Dyke, Steven Collins, Jean-Gregory Dyke, Steven Collins, Jean-Jaques Girardot, Kristine Lund, Jaques Girardot, Kristine Lund, laboratoires ICAR et École des Mines laboratoires ICAR et École des Mines de Saint-Etiennede Saint-Etienne

Outils travail collaboratif : DrewOutils travail collaboratif : Drew Outils d’analyse : TatianaOutils d’analyse : Tatiana

5151

Le corpus reunionEMSE est un extrait pseudonymisé des 10 premières minutes (environ) d'une réunion entre deux élèves et leur tuteur pour un projet de programmation en C sur le sujet du jeu de la vie. Les participants discutent par oral et ont à leur disposition un éditeur de texte partagé pour prendre des notes. Dans l'analyse que nous allons effectuer, nous nous intéressons aux instances de reformulation entre l'oral et l'écrit (typiquement des prises de notes).

Workshop Eurocall 2010Workshop Eurocall 2010

"Dissemination and comparison of research "Dissemination and comparison of research findings: Developing Contextualized Learning findings: Developing Contextualized Learning and Teaching Corpora (LETEC)", September and Teaching Corpora (LETEC)", September 8th 2010, Bordeaux8th 2010, Bordeaux

Joint event for CSCL and CALL communitiesJoint event for CSCL and CALL communities– Structure and tools for interaction analysisStructure and tools for interaction analysis– Data transformation and application of corpora in Data transformation and application of corpora in

CALLCALL Communicants offrent extraits corpus, outils Communicants offrent extraits corpus, outils

et analyses : TP en ligne pour participantset analyses : TP en ligne pour participants

5252

Communicants hors Mulce : * Alejandra Martines-Mones, University of Valladolid, ES* Analysis Tool presentation I- Corpus exchange and interoperability : The Calico project (E. Bruillard, ENS Cachan and Alain Mille, University of Lyon1)*Analysis Tool presentation II- the Tatiana project (K. Lund, University of Lyon2)* Kurt Kohn, University of Tubiegen, DE* Use of corpora in teaching- Customizing elearning tools to learner needs: the contribution of learner corpora (S. Granger, Catholic University of Louvain), BE * Round-table conference and open discussion on the potentialities of Disseminating and comparing research findings: E. Bruillard (ENS Cachan), T. Chanier (UBP), M-N. Lamy (OU), R. O’Dowd (University of Leon), C. Tschichold (University of Wales Swansea), A. Boulton (University of Nancy2).

PérennisationPérennisation

Projet pour 2011 : transfert Projet pour 2011 : transfert banque de corpusbanque de corpus– Du laboratoire informatique LIFC, Du laboratoire informatique LIFC,

BesançonBesançon– À la MSH et au laboratoire de À la MSH et au laboratoire de

recherche sur le langage (LRL), recherche sur le langage (LRL), Clermont-FerrandClermont-Ferrand

5353

RéférencesRéférences

La banque de corpus Mulce La banque de corpus Mulce (dénommée "plate-forme") : (dénommée "plate-forme") : http://mulce-pf.univ-fcomte.fr/

Le site de documentation : Le site de documentation : http://mulce.org

5454