Session de transfert 2013 Atelier 23 - Lévaluation de la collaboration et de la créativité des...

Session de transfert 2013

Atelier 23 - L’évaluation de la collaboration et de la créativité des élèves dans le Knowledge Forum (KF)Christian Perreault, Université Laval

Plan de la rencontre

• Présentation• Discussion: vos attentes• Collaboration, créativité & résolution de

problèmes en collaboration• Regard prospectif : le traitement du langage

naturel• Présentation des différents outils d’analyse

intégrés au KF• Temps d’essai des outils d’analyse• Discussion• Conclusion

Discussion: vos attentes

Vos attentes

Quelles sont vos attentes pour cet atelier?

Qu’aimeriez-vous apprendre?

Que connaissez-vous des outils d’analyse?De l’évaluation de la collaboration, de la créativité,

de la résolution de problèmes en collaboration?

Collaboration, créativité & résolution de problèmes en collaboration• PFÉQ:• Mettre en œuvre sa pensée créatrice• Collaborer

• ATC21S, 12 compétences du 21e siècle, dont• Collaboration• Créativité et innovation• > Le Knowledge Forum est cité comme un environnement prometteur pour

l’évaluation de la collaboration et de la créativité, notamment par les données qui y sont recueillies

• PISA 2015 : Collaborative Problem-Solving (CPS) Résolution de problèmes en collaboration (RPE):• dimensions cognitives et affectives• Résolution de problèmes individuelle (2012) « adaptée » à l’échelle collaborative

(2015)• > Analyse du discours collectif

Regard prospectifQuelles mesures pour la collaboration, la créativité, la RPE?

• Jugement humain – Évaluation assistée par l’ordinateur• Combiner et mieux étudier les mesures actuelles pour en

développer de nouvelles• Avancements de l’analyse de l’apprentissage (learning

analytics)

• Nouvelle avenue: Traitement du langage naturel / analyse sémantique• Contribution des élèves au discours collectif• Mesurer l’influence des contributions sur le discours collectif• Mesures individuelles et collectives• Comparaison à des textes d’experts

• Tout un chantier – Champ de recherche actif!

Outils d’analyse du KF: pourquoi?• Pour suivre la progression des élèves et informer leur

évaluation à la lumière de mesures quantitatives et qualitatives du contenu du Knowledge Forum

• Les plugiciels s’adressent aux élèves et aux enseignants, selon leur nature.

• Un peu de sémantique : outils d’observation, de mesure, d’analyse ou d’évaluation, applets ou plugiciels? = à vous de juger!

Outils d’analyse du KF

• Contributions de base

• Progression des notes

• SocialNetwork

• ARSL : Analyse de réseaux sociaux-Lexiques

• Analyse Lexicale

• Lexique Émergent

• Grilles d’observation v2

Nous n’aborderons pas…• SemanticOverlap• SequencesContenu• SequencesEchafaudages• VocabularyGrowth• Writing

• Pourquoi?

• Fonctionnalités intégrées dans d’autres outils• Conçus pour la recherche;• Données non fiables;

Où sont ces outils?

Quelques règles communes

Avant tout, il faut s’assurer…• que les groupes soient bien constitués; (ex. : l’enseignant n’est

pas dans le même groupe que ses élèves, généralement le « Groupe par défaut » natif)

• d’utiliser les outils pour les groupes qu’on connaît et pour lesquels on peut interpréter adéquatement les données;

• d’avoir repéré les perspectives que vous souhaitez analyser, le cas échéant.

• de choisir une plage de temps

Contributions de base

• Pour obtenir des mesures quantitatives simples sur l’activité des participants, c.-à.-d. nombre :• de contributions (notes)• d’annotations• d’élaborations• d’échafaudages utilisés• etc.

• Met en lumière les pratiques de lecture et d’écriture des participants dans les différentes perspectives du KF.

• Aide précieuse pour donner des rétroactions aux participants sur la progression de leur discours à des moments précis, variés et de différentes durées.

Contributions de base

Contributions de base

Progression des notes• Rend compte de l’évolution du nombre de notes contribuées au

fil du temps.

• L'analyse peut être effectuée selon trois périodes : par semaine, par mois ou par année.

SocialNetwork / Réseau social• Utilité : observer la répartition des interactions élève-élève et élève-

enseignant dans une perspective du KF.

• « Qui lit qui »

• « Qui répond à qui »

ARSL : Analyse de réseaux “sociolexicaux”

• Permet de visualiser le partage du lexique entre les participants.

• On peut utiliser des lexiques natifs (Micro Larousse Bonifié, etc.) ou personnalisés.

Analyse Lexicale

• Utilité : observer l’utilisation d’un lexique lié à un domaine (l’utilisation du lexique approprié témoigne d’une appropriation des concepts du domaine).

Lexique émergent

• Utilité : observer l’émergence de nouveaux mots dans les notes écrites par les élèves sur le KF au fil du temps.

Dictionnaire proposé :

• Micro Larousse Bonifié (47 809 mots)

• Les mots ont été mis au féminin et au pluriel• Seuls les mots écrits correctement sont considérés• Verbes conjugués et les noms propres ne sont pas

pris en considération

• Il est possible de construire votre propre lexique.

Lexique émergent

Grilles d’observation (v2)

• Permet de conserver des traces de l’appréciation du contenu des notes écrites par les élèves.

• L’enseignant crée ses propres grilles d’observation (critères, échelle), voire échelle des niveaux de compétence

• Permet de faire le bilan des appréciations du travail de l’élève sur le KF.

• La version 2 corrige plusieurs bogues de la version 1 (la version 2 n’est pas rétrocompatible).

Grilles d’observation (v2)

Regard prospectif

• KSV : C’est un prototype d’une nouvelle interface graphique du KF ajoutant la « dimension » des idées• vise à donner plus de pouvoir d’action aux participants en

améliorant l’évaluation formative.

• L’analyse sémantique et le traitement du langage naturel (intelligence artificielle) sont de nouvelles approches pour soutenir, mesurer et analyser la contribution des élèves (analyse sémantique / intelligence articifielle).• Avancement rapidement pour l’anglais!

KSV : Le visualiseur d’espaces de connaissances

• Usage répéré (Perreault, 2013): appuyer les pratiques d’écritures = incitatif à écrire des notes plus élaborées et précises

• Les liens d’élaboration (actuels) sont conceptualisés comme des liens (sémantiques) explicites

• Il permet s’afficher des liens issus de l’analyse sémantique, dits des liens sémantiques implicites.

KSV : Le visualiseur d’espaces de connaissances

Temps d’exploration / Mains sur les touches (? min)

• Temps pour essayer les différents outils d’analyses

• URL des bases de connaissances archivées (2006-2013) :http://kf.fse.ulaval.ca:27318/

• URL de la base de connaissances pour la Session de transfert:http://kf.fse.ulaval.ca:27320Base: Session-de-transfert

Discussion

1. Quelles améliorations proposez-vous pour les outils actuels?

2. Quels outils d’observation, de mesure ou d’analyse aimeriez-vous avoir dans une prochaine génération du Knowledge Forum?

ConclusionPour aller plus loin…

• Les ateliers de développement professionnel plusieurs midis cette année

• L’équipe de soutien ou accompagnement ÉER

• Tutoriels sur le site Web

• Salle de soutien juste-à-temps ÉER!

• christian.perreault@fse.ulaval.ca