Évaluation des pairs ou par les pairs :

Outil d’un cours ou préparation à la pratique professionnelle ?

Un CONTEXTE de formation etde transformation personnelle

les professeurs et les chargés de cours y font confiance et s’y sentent à leur aise

les étudiants se rappellent bien leurs règles du cours Travail en équipe et les appliquent

il n’existe aucune tendance à délaisser ces « choses » au profit d’aspects plus techniques

les étudiants discutent les points soulevés par les pairs librement et constructivement

rien n’est « accumulé » jusqu’en fin de cours et « déchargé » pèle-mèle au « boulet rouge »

…

Ayant testé ces « évaluations » et « rétroactions », nous savons que …

Évaluation des pairs

Outil d’un cours Préparation professionnelle

Moduler une note◦ Qualités métrologiques

(justesse, fiabilité,…)◦ Qualités statistiques

(biais, répétabilité,…)◦ Qualités

« procédurales » (clarté, robustesse,…)

◦ Autres (charge, simplicité,…)

…

Exercer un pouvoir◦ Oser / Ne pas trop oser◦ Répercussions

Redresser des attitudes / comportements◦ Changement des attitudes◦ Réactions, résistances◦ Persistance, transférabilité

Dynamiser une équipe◦ Facteurs dynamisants,

débilitants◦ …

Évaluation par les pairs

Outil d’un cours Préparation professionnelle

Modulation de ma note◦ Équitable

justesse des perceptions, décision sur information

neutre et complète, être entendu, …

◦ Raisonnable anticipation des

répercussions connaissance des faits

Subir / Réagir / Attendre l’occasion

Endosser / Récuser S’engager / S’exclure S’acoquiner / S’isoler Influencer l’étudiant –

qu’il s’engage sur la voie d’un changement rendu possible

« La transformation personnelle tient plus de l’image que l’on se fait de la réalité que de la réalité elle-même »

[What’s his name]

Évaluer ses pairs : Exercer le pouvoir… sans lacunes, sans excès, sans erreurs graves grâce à une « conduite assistée »

Donner une rétroaction : Se baser sur les faits, reconnaître les effets, miser sur le « devenir »

Apprendre l’exercice du pouvoir Exercer le pouvoir …

est une habileté délicate à maîtriser qui repose sur une « construction interne »

évolutive de savoir / savoir-faire / savoir être

pour laquelle étudiants (et enseignants) ne sont pas nécessairement tous bien préparés

dont l’absence peut favoriser des affirmations à l’emporte-pièce, une certaine brusquerie ou la précarité de l’échafaudage

Exercer un pouvoir qui affecte les comportements (et les notes) …

« J’utilise / J’envisagerais (mieux) recourir à l’ÉdP avec comme 1er but de … »

« Je me (nous) sent /pense préparé(s) à utiliser l’ÉdP dans le sens de ce but »

« La meilleure façon de cheminer vers ce but serait de commencer par … »

(On ne videra pas la question en 6 min, mais peut-être va-t-on amorcer son survol)

En dyades (6 min)

Retour (14 min)

Concentrer le libellé sur des faits observables◦ « Le … mars, tu as bidouillé avec ton ziPod

pendant un bon 20 min en cours de réunion »◦ « Tu as pris le temps de réécrire le chapitre 2 »

Communiquer les effets (répercussions)◦ « on a dû réexpliquer les tâches et finir plus tard

»◦ « la cohérence avec le chapitre 1 était meilleure »

Signifier une ouverture à la discussion◦ « Comment éviter ces inefficacités ? »◦ « Vois-tu des moyens, pour les autres,

d’augmenter la cohérence dès leur première écriture ? »

Directives sur la bonne rédaction d’une rétroaction

« Nous faire part plus souvent de tes opinions. C’est super quand tu parles. »

« Sa partie du travail était moins bonne à comparer des autres et celle qu’il a fait la première fois. »

« Je ne sens pas que Z a de l'intérêt à faire sa part du travail. Il devrait se proposer plus souvent à faire des tâches, car souvent, il s'occuppe des tâches qui restent à la fin. Mais il doit continuer son enthousiasme. »

… mais on obtient

Intérêt et motivation apportés à son travail

C’est peut-être notre faute …

Témoignage Préparation à la 1re rétroaction

Groupe test, avant la 1re rétroaction à donner

Groupe témoin, avant la1re rétroaction à donner

Mise en garde : « Vous connaissez-vous assez pour dire qu'un membre est "Exceptionnel" ou "Insuffisant" ? S'il y a faiblesse, lui avez-vous clairement dit avant aujourd'hui pour qu'il se corrige ? Et, si vous l'avez fait, a-t-il eu des tâches dans un domaine qui fait sa "force" ? Oui ? Alors appliquez une sanction en changeant sa note. »

( Nil ) Éléments

Exemples

Mise en

garde

Rétroaction de Xi donnée à Yi (sic)

Groupe test, i = 1, 1re rétroaction donnée

Groupe témoin, i = 2, 1re rétroaction donnée

« Il ne parle pas beaucoup et il exprime rarement ces idées. »

« Par contre, il se porte souvent volontaire d'écrire au tableau et fait bien les tâches qui lui sont assignés »

Et l’enseignant réagit :«  Pourquoi écrivez-vous à la 3e personne ? Vous vous adressez à QUI ? Soyez plus personnel. Offrez des pistes de solution. Soyez spécifique : "rarement ses idées"... À QUELLES occasions? »

« Beaucoup d'ehthousiasme à trouver des solution » [bis]

« Regarde les devoirs des autres cours » [bis]

Et l’enseignant ne réagit pas, du moins pas individuellement

Toujours par Xi donnée à Yi [sic]

Groupe test, i = 1, 2e rétroaction donnée

Groupe témoin, i = 2,2e rétroaction donnée

« ‘Y’, on ne sent pas assez ta présence lors des réunions. Il est important que tu participes plus en donnant ton opinion ou au moins en appuyant les idées des autres. Fait nous un signe de tête pour nous dire que tu es d’accord ou que tu comprends l’idée proposée »

« Durant la rencontre du jeudi, tu avais apporté des dessins qui montrait que tu n'avais pas compris la façon dont notre machine fonctionnait. C'est ‘A’ et ‘B’ qui ont passé la réunion à te l'expli-quer et dans une grande partie des cas à faire les dessins pour toi. La preuve est qu'il n'y a pas beaucoup de dessins dans le rapport qui portent ton nom. »

« Souvent en retard aux réunions » [bis]

« Tu a fait ta partie et aidé les autres à la compléter »

« Ta partie était plus longue que les autres à faire »

A – « Sur la table » : Processus en DEUX temps; Rétroactions discutées en équipe (nominatif); Pas de modulation de la note

B - « Laisser faire » : Processus en UN temps; Sans relecture ni commentaires de l’enseignant; Sans discussion obligatoire dans l’équipe

C - « Suivi serré » : Processus en UN temps; Directives et suivi régulier; Discussion non obligatoire mais encouragée

D - « Commentaires et notes » : Processus en UN temps; Chaque rétroaction est lue et commentée et notée; Discussion encouragée

Hiver 2011 – Quatre groupes

Constat d’assiduité à la remise des travaux (19 travaux, 36 équipes) et repérage des frontières interquartiles (Q1, Q2, Q3)

Repérage des équipes aux frontières interquartiles, groupes A, B, C et D

Lecture / Qualification des ~24 3 4 = 288 rétroactions quant aux F / E / OD, 4 niveaux, pour 2 cycles (576 rétroactions)

Observation des écarts / tendances Sondage, 35 questions sur l’ÉdP (169 réponses,

plus de 45 par groupe pour A, B et D)

Préfiltre – Évitement d’aberrations

Phénomènes observés (provisoire) A – « Sur la table » verbal (moyenne 3,26) :

◦ Sondage – J’ai appris à transmettre verbalement à mes coéquipiers

mes rétroactions sur leur performance. Les rétroactions que j’ai reçues de mes coéquipiers m’ont

aidé à préciser mes points forts. Je compte utiliser ces rétroactions reçues de mes coéquipier

de façon constructive.◦ Rétroactions écrites –

Plus grande proportion de baisse de qualité (60%) entre les deux cycles d’observation

Baisse notablement plus prononcée pour l’équipe ayant montré moins d’assiduité dans la remise des autres travaux

Pas dopportunité offerte pour observer/dépister les effets d’une « pression du groupe » sur des individus

Phénomènes observés (provisoire) B – « Laisser faire » (règles) (moyenne 2,48)

: ◦ Sondage – Significativement moins ‘convaincus’ ◦ Rétroactions écrites –

Plus fortes hausses de qualité entre les deux cycles d’observation ET très fortes baisses aussi

Aucun étudiant n’est resté constant (tous ou ) [pas d’amortissement ?]

Hausse notablement plus prononcée pour l’équipe ayant montré le moins d’assiduité dans la remise des autres travaux

Pas d’opportunité offerte pour observer/dépister les effets d’une « pression du groupe » sur des individus

C – « Suivi serré » (moyenne 2,74) : ◦ Sondage – (plus faible taux de réponses)◦ Rétroactions écrites –

Aucun étudiant ne s’améliore sur deux cycles Plus grande amplitude de baisse moyenne du groupe Phénomène marqué de « pression du groupe » à la

baisse pour l’équipe ayant montré la meilleure assiduité dans la remise des autres travaux

Rétro n° 1 Rétro n° 2 Moyenne F E OD F E OD cumul. Q1 1 1 1 ( 3) 3 4 4 (11) 2,91 Q1 4 4 4 (12) 4 4 4 (12) 3,36 Q1 4 4 4 (12) 4 4 4 (12) 2,54 Q1 3 3 4 (10)  3 3 4 (10) 3,14 Q1 4 4 4 (12) 4 4 4 (12) 2,26 Q1 1 1 1 ( 3) 3 4 4 (11) 3,89

Phénomènes observés (provisoire)

D - « Remarque et note » (moyenne 2,67) :◦ Sondages –

J’ai appris à formuler par écrit mes rétroactions sur la performance de mes coéquipiers.

Les rétroactions que j’ai reçues de mes coéquipiers m’ont aidé à préciser mes points forts.

Les rétroactions que j’ai reçues de mes coéquipiers m’ont aidé à préciser des points à améliorer.

Je compte utiliser ces rétroactions reçues de mes coéquipier de façon constructive.

◦ Rétroactions écrites – Plus petite proportion de baisse de qualité des groupes Plus grande amplitude de hausse de qualité Phénomène de ‘pression du groupe’ à la hausse ( ? )

Phénomènes observés (provisoire)

Effets de l’ÉdP sur la note Remarques sur la qualité de rétroaction Effets croisés Remarques + Discussion Exercices réflexifs et Cahiers de projet

Importance de l’ÉdP dans la note finale Importance des résultats individuels

Impuissance face au dogme de la moyenne arithmétique

...

Des moyens : mieux diriger/ comprendre / influencer

Apprendre à exercer un pouvoir – s’assumer et assumer ses opinions

Équipe – Caractères et tempéraments / Aspects direction de personnels

Si traiter les aspects humains était leur grande force naturelle …peut-être leur zone de confort serait-elle moins ciblée sur les aspects matériels

Quel % fera de la technique « pure », et quel % finira par diriger le travail d’autrui ?

Outil d’un cours ou préparation à la pratique professionnelle ?