Session de transfert 2013

Atelier 23 - L’évaluation de la collaboration et de la créativité des élèves dans le Knowledge Forum (KF)Christian Perreault, Université Laval

Plan de la rencontre• Présentation• Discussion: vos attentes• Collaboration, créativité & résolution de

problèmes en collaboration• Regard prospectif : le traitement du langage

naturel• Présentation des différents outils d’analyse

intégrés au KF• Temps d’essai des outils d’analyse• Discussion• Conclusion

Discussion: vos attentesVos attentes

Quelles sont vos attentes pour cet atelier?

Qu’aimeriez-vous apprendre?

Que connaissez-vous des outils d’analyse?De l’évaluation de la collaboration, de la créativité,

de la résolution de problèmes en collaboration?

Collaboration, créativité & résolution de problèmes en collaboration• PFÉQ:• Mettre en œuvre sa pensée créatrice• Collaborer

• ATC21S, 12 compétences du 21e siècle, dont• Collaboration• Créativité et innovation• > Le Knowledge Forum est cité comme un environnement prometteur pour l’évaluation

de la collaboration et de la créativité, notamment par les données qui y sont recueillies

• PISA 2015 : Collaborative Problem-Solving (CPS) Résolution de problèmes en collaboration (RPE):• dimensions cognitives et affectives• Résolution de problèmes individuelle (2012) « adaptée » à l’échelle collaborative (2015)• > Analyse du discours collectif

Regard prospectifQuelles mesures pour la collaboration, la créativité, la RPE?

• Jugement humain – Évaluation assistée par l’ordinateur• Combiner et mieux étudier les mesures actuelles pour en

développer de nouvelles• Avancements de l’analyse de l’apprentissage (learning analytics)

• Nouvelle avenue: Traitement du langage naturel / analyse sémantique• Contribution des élèves au discours collectif• Mesurer l’influence des contributions sur le discours collectif• Mesures individuelles et collectives• Comparaison à des textes d’experts

• Tout un chantier – Champ de recherche actif!

Outils d’analyse du KF: pourquoi?• Pour suivre la progression des élèves et informer leur

évaluation à la lumière de mesures quantitatives et qualitatives du contenu du Knowledge Forum

• Les plugiciels s’adressent aux élèves et aux enseignants, selon leur nature.

• Un peu de sémantique : outils d’observation, de mesure, d’analyse ou d’évaluation, applets ou plugiciels? = à vous de juger!

Outils d’analyse du KF• Contributions de base

• Progression des notes

• SocialNetwork

• ARSL : Analyse de réseaux sociaux-Lexiques

• Analyse Lexicale

• Lexique Émergent

• Grilles d’observation v2

Nous n’aborderons pas…• SemanticOverlap• SequencesContenu• SequencesEchafaudages• VocabularyGrowth• Writing

• Pourquoi? • Fonctionnalités intégrées dans d’autres outils• Conçus pour la recherche;• Données non fiables;

Où sont ces outils?

Quelques règles communes

Avant tout, il faut s’assurer…• que les groupes soient bien constitués; (ex. : l’enseignant n’est

pas dans le même groupe que ses élèves, généralement le « Groupe par défaut » natif)

• d’utiliser les outils pour les groupes qu’on connaît et pour lesquels on peut interpréter adéquatement les données;

• d’avoir repéré les perspectives que vous souhaitez analyser, le cas échéant.

• de choisir une plage de temps

Contributions de base

• Pour obtenir des mesures quantitatives simples sur l’activité des participants, c.-à.-d. nombre :• de contributions (notes)• d’annotations• d’élaborations• d’échafaudages utilisés• etc.

• Met en lumière les pratiques de lecture et d’écriture des participants dans les différentes perspectives du KF.

• Aide précieuse pour donner des rétroactions aux participants sur la progression de leur discours à des moments précis, variés et de différentes durées.

Contributions de base

Contributions de base

Progression des notes• Rend compte de l’évolution du nombre de notes contribuées au

fil du temps.

• L'analyse peut être effectuée selon trois périodes : par semaine, par mois ou par année.

SocialNetwork / Réseau social• Utilité : observer la répartition des interactions élève-élève et élève-

enseignant dans une perspective du KF.

• « Qui lit qui »

• « Qui répond à qui »

ARSL : Analyse de réseaux “sociolexicaux”

• Permet de visualiser le partage du lexique entre les participants.

• On peut utiliser des lexiques natifs (Micro Larousse Bonifié, etc.) ou personnalisés.

Analyse Lexicale

• Utilité : observer l’utilisation d’un lexique lié à un domaine (l’utilisation du lexique approprié témoigne d’une appropriation des concepts du domaine).

Lexique émergent

• Utilité : observer l’émergence de nouveaux mots dans les notes écrites par les élèves sur le KF au fil du temps.

Dictionnaire proposé :• Micro Larousse Bonifié (47 809 mots)• Les mots ont été mis au féminin et au pluriel• Seuls les mots écrits correctement sont considérés• Verbes conjugués et les noms propres ne sont pas

pris en considération

• Il est possible de construire votre propre lexique.

Lexique émergent

Grilles d’observation (v2)

• Permet de conserver des traces de l’appréciation du contenu des notes écrites par les élèves.

• L’enseignant crée ses propres grilles d’observation (critères, échelle), voire échelle des niveaux de compétence

• Permet de faire le bilan des appréciations du travail de l’élève sur le KF.

• La version 2 corrige plusieurs bogues de la version 1 (la version 2 n’est pas rétrocompatible).

Grilles d’observation (v2)

Regard prospectif

• KSV : C’est un prototype d’une nouvelle interface graphique du KF ajoutant la « dimension » des idées• vise à donner plus de pouvoir d’action aux participants en

améliorant l’évaluation formative.

• L’analyse sémantique et le traitement du langage naturel (intelligence artificielle) sont de nouvelles approches pour soutenir, mesurer et analyser la contribution des élèves (analyse sémantique / intelligence articifielle).• Avancement rapidement pour l’anglais!

KSV : Le visualiseur d’espaces de connaissances

• Usage répéré (Perreault, 2013): appuyer les pratiques d’écritures = incitatif à écrire des notes plus élaborées et précises

• Les liens d’élaboration (actuels) sont conceptualisés comme des liens (sémantiques) explicites

• Il permet s’afficher des liens issus de l’analyse sémantique, dits des liens sémantiques implicites.

KSV : Le visualiseur d’espaces de connaissances

Temps d’exploration / Mains sur les touches (? min)

• Temps pour essayer les différents outils d’analyses

• URL des bases de connaissances archivées (2006-2013) :http://kf.fse.ulaval.ca:27318/

• URL de la base de connaissances pour la Session de transfert:http://kf.fse.ulaval.ca:27320Base: Session-de-transfert

Discussion

1. Quelles améliorations proposez-vous pour les outils actuels?

2. Quels outils d’observation, de mesure ou d’analyse aimeriez-vous avoir dans une prochaine génération du Knowledge Forum?

ConclusionPour aller plus loin…

• Les ateliers de développement professionnel plusieurs midis cette année

• L’équipe de soutien ou accompagnement ÉER• Tutoriels sur le site Web• Salle de soutien juste-à-temps ÉER!

• christian.perreault@fse.ulaval.ca