Evaluation par les pairs dans les MOOC : résultats d'une enquête

Evaluation par les pairs dans les MOOC : résultats d’enquêteFévrier 2016 - Clément Dussarps & Elodie Vaugier

2Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Auteurs de l’enquête Clément DUSSARPS, docteur en sciences

de l’information et de la [email protected]

Elodie VAUGIER, ingénieur pé[email protected]

Administrée en avril/mai 2015


Sommaire Echantillon 4 Activités et temps passé sur le MOOC 9 Anonymat et évaluation par les pairs

12 Evaluation par les pairs (EPP) :

Organisation des MOOC 15 Expérience en EPP 17 EPP et communication avec autrui 19 EPP et ressentis des apprenants 23 Satisfaction des apprenants 26 Préférences et avis sur l’EPP 32

N = 135Remarques : • tous les résultats suivants sont issus de

l’échantillon de répondants, 135 apprenants ayant réalisé des évaluations par les pairs ;

• l’échantillon est opportuniste et n’a pas vocation à être représentatif.

Echantillon


Echantillon

Coursera 13%

Autres 14,81%

France Université Numérique36%

Unow 36,30%

Plateformes représentées(répartition des individus par

plateforme)

Principaux MOOC enquêtés : - ABC de la gestion de projet (27 %) - Comprendre le transmédia storytelling (22 %) - Gamification (7 %) - Monter un MOOC de A à Z (7 %) - Effectuation - L’entreprenariat pour tous (5 %) - Informer et communiquer sur les réseaux sociaux (5 %)


Echantillon Sexe et âges :

Statut :

Localisation :

60 %

40 %0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100

%

5% 24% 41% 30%

Age des répondants(en années) 18-24 25-35

36-49 + de 50 71 % ont plus de 35 ans

67 % en emploi

18 % deman-deurs d’emploi

6 % étudiants

85 % en France

11 % enEurope

4 % hors Europe

(9 % autres statuts)


Un échantillon motivé et satisfait

Considèrent le MOOC important pour eux

Sont satisfaits du MOOC

Ont plaisir à suivre le MOOC

Accordent de l'importance à la certification

0% 20% 40% 60% 80% 100% 120%

92%

94%

96%

60%

Les apprenants…

Seuls 4 % ont abandonné le MOOC (pour lequel ils répondent à cette enquête)

97 % se disent à l’aise avec les outils numériques

8

Communication sur l’EPP

Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Tous les apprenants ne savaient pas qu’ils auraient à réaliser une évaluation par les pairs (EPP) avant de démarrer le MOOC : Seuls 59 % des apprenants savaient qu’ils auraient à évaluer leurs pairs AVANT de démarrer le MOOC.

29 % l’ont découvert lors de la première semaine du MOOC et 9 % lors de la réalisation ou l’évaluation du premier travail. 3 % l’ont appris à un autre moment.

Activités et temps passé sur le MOOC

10

Temps passé par type d’activité


Cours Travaux EPP

72.00%51.50%

86.00%

20.50%39.00%

10.00%7.50% 9.50% 4.00%

Temps passé par les apprenants par type d’activité

(en heures par semaine)< à 3h De 4 à 6h > à 7h

La plupart des apprenants passent moins de 3 heures par semaine sur chaque type d’activités (cours, travaux à rendre, évaluation par les pairs).

Les travaux à réaliser demandent souvent plus de temps (4 heures ou plus pour 48,50 %) que le reste.

Les travaux à réaliser demandent généralement plus de temps que les évaluations de ses pairs.

11

Temps prévu vs temps passé


de temps que celui prévu (annoncé) par les MOOC étudiés.

56 % des apprenants ont passé

20 % des apprenants ont passé24 % des apprenants ont passé

Généralement, un temps moyen à passer par semaine est indiqué sur les plateformes de MOOC. Ce temps n’est pas toujours celui réellement passé par les apprenants.

Rappel : 41 % des "MOOCeurs" ne savaient pas qu'ils auraient à évaluer leurs pairs avant de commencer le MOOC.

Anonymat et évaluation par les pairs


Anonymat et qualité de la note

47 % des apprenants de notre échantillon connaissaient le nom ou pseudo de l'étudiant à évaluer

Les apprenants pensent que l’anonymat…

19 % : améliore la qualité de la note

76 % : ne change rien

5 % : réduit la qualité de la note


Anonymat : préférences

Préférent être anonymes

Préfèrent être connus de leur correcteur

Y sont indifférents

33%

20%

47%

Préférence vis-à-vis de leur correcteur

Préfèrent ne pas connaître la personne qu'ils cor-rigent

Préfère être connu de la personne qu'ils corrigent

Y sont indifférents

31%

28%

41%

Préférences vis-à-vis de leurs pairs, en tant que correcteurs

(EPP : Evaluation Par les Pairs)

EPP: organisation des MOOC

16

EPP et organisation des MOOC


42 % des apprenants devaient s’évaluer eux-mêmes (en plus d’évaluer leurs pairs)

1 ou moins

2 à 3

4 à 5

Plus de 5

1.61%

43.55%

53.23%

1.61%

Nombre de travaux à évaluer

La majorité des apprenants avaient entre 4 et 5 travaux à évaluer :

100 % des apprenants disposaient d'aide à l'évaluation. La consigne est le plus fréquent (87%).

Consigne

Barème

Conseils

Exemple de correction

87%

81%

47%

23%

Outils d’aide à l’évaluation disponibles :

42 % des apprenants pouvaient contacter leur pair-évaluateur. 18% d'entre eux ne savaient pas si cela était possible.

Expériences en EPP


Expériences précédentes 56 % des apprenants avaient une expérience d’évaluation

par les pairs (dont 67 % en dehors des MOOC) :

Aucune ex-périence

Expérience dans un autre

MOOC

Expérience hors MOOC

Autre MOOC + hors MOOC

44%

12%37%

7%

Expériences précédentes en EPP

Pour 78 %, cette expérience précédente a été une aide pour évaluer leurs pairs dans le MOOC.

EPP et communication avec autrui


Evaluer seul ou à plusieurs ? 90 % des apprenants ont réalisé les

évaluations seul Seuls 20 % d’entre eux auraient préféré la

faire à plusieurs


Echanges avec l’équipe pédagogique

32 % ont contacté l’équipe pédagogique au sujet de l’évaluation par les pairs

56 % estiment ne pas en avoir eu besoin 12 % ne savaient pas si cela était possible


Echanges avec les autres apprenants

Avec l’ensemble des apprenants : 44 % des apprenants ont échangé avec leurs pairs au

sujet de l’évaluation par les pairs et ont obtenu une réponse

43 % ne l’ont pas fait, jugeant cela non nécessairePour les 13 % restants : ils ne savaient pas si cela était possible (7%), ne savaient pas comment le faire (3 %) ou cela n'était pas possible dans leur MOOC (3 %).

Avec les pairs évalués : 42 % pouvaient contacter les pairs évalués et l’ont fait 40 % ne pouvaient pas les contacter (faute d’un dispositif

technique le permettant) 18 % n’ont pas su dire si cela était possible

EPP et ressentis des apprenants


Sentiments d’être légitime, capable, suffisamment formé

Pour évaluer ses pairs, l’apprenant se sent…

Suffisamment formé

Capable

Légitime

24%

8%

39%

47%

48%

34%

29%

44%

27%

Tout à fait Plutôt ouiPlutôt non ou pas du tout


Importance des commentaires reçus

95 % des apprenants accordent de l’importance aux commentaires reçus de la part de leurs pairs sur leur évaluation.

Très faible

Plutôt faible

Plutôt grande

Très grande

2%

4%

39%

55%

Importance accordée aux com-mentaires

des pairs-évaluateurs

Satisfaction des apprenants


Eléments pour aider à évaluer 86 % des apprenants ont un regard positif sur les

éléments mis à leur disposition pour les aider à évaluer les travaux de leurs pairs :

75 % ont trouvé que les aides (consignes, barèmes…) pour évaluer leurs pairs étaient en nombre suffisant.

Plutôt insatisfaitPlutôt satisfait

Totalement satisfait

13.93%

62.30%

23.77%

Niveau de satisfaction sur les outils d’aide à l’évaluation

Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de l’échantillon.


Outils pour évaluer

88 % des apprenants ont trouvé l’outil d’évaluation par les pairs facile (41 %) ou très facile (47 %) à utiliser.Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de l’échantillon.


Utilité pédagogique

85 % considèrent qu’évaluer leurs pairs leur a permis de progresser dans leur apprentissage.

81 % considèrent également que leur auto-évaluation leur a permis de progresser.


Motivation et plaisir à évaluer ses pairs

84 % des apprenants ont trouvé motivant d’évaluer leurs pairs (39 % très motivant, 45 % plutôt motivant)

89 % des apprenants ont trouvé plaisant d’évaluer leurs pairs (44 % très plaisant, 45 % plutôt plaisant).


Contrainte à évaluer ses pairs

22 % ont trouvé l’évaluation par les pairs contraignante. Les principales raisons évoquées sont : Le manque de temps / un nombre trop

important de travaux à évaluer Le flou des consignes pour évaluer La complexité du travail Un sentiment d’illégitimité à évaluer Une absence de goût pour l’évaluation en

général

Préférences et avis sur l’EPP

Crédit image : Elliot Lepers


Regards sur l’EPP Malgré un regard majoritairement positif sur l’EPP

(permettant de progresser dans l’apprentissage, motivante, satisfaisante…), les répondants indiquent :

À 50 %, qu’ils auraient préféré être notés par un enseignant(dont 43 % parmi ceux trouvant l’EPP motivante)

A 54 % qu’ils jugent l’EPP peu fiable(dont 48 % parmi ceux trouvant l’EPP motivante)

Et cela même si 92 % estiment avoir été évalués avec sérieux par leurs pairs.

L’enseignant reste, pour la majorité des apprenants, l’évaluateur préféré, malgré les avantages ressentis à être évalué par un pair et à évaluer.

Education

Evaluation par les pairs dans les MOOC : résultats d'une enquête