21/05/19

1

ConcevoiretutiliserdesQCMpourrenforceretévaluerlesapprentissages

JulienDouadyjulien.douady.pro@free.frenseignantchercheurconseillerpédagogiqueformateurindépendant

Certaines diapositives ont été créées par des membres du réseau PENSERA

J. Douady Atelier«ConcevoiretutiliserdesQCM»Sceaux – 23 mai 2019 Tous les éléments de cet exposé sont protégés par un licence Creative Commons 2.0 France

http://creativecommons.org/licenses/by-nc-sa/2.0/fr/ 20/09/18

21/05/19

2

Conceptiond’unenseignement

Apprentissage

Objectifs

Contenu

Stratégies

Evaluation

3A.Saroyan&C.Amundsen,2004

Notes

08/01/2019

21/05/19

3

Objectifs

•  identifierl’intérêtdesphasesd’entraînementetd’évaluationdansleprocessusd’apprentissage

•  utiliserdesoutilspourclarifieretformulerlesobjectifsd’apprentissage

•  repérerleserreursderédactiondanslesQCMsetlescorriger

•  concevoirdesQCMsenadéquationaveclesobjectifsciblés

Programme08h30 Introduction,tourdetable,partagesd’expériences08h50 L’évaluationdansleprocessusd’apprentissage09h00 Lesobjectifspédagogiques10h00 Pause10h15 QuelquesprincipessurlanotationdesQCM10h30 LesrèglesdeconceptiondesQCMs11h15 DesQCMs…pourdesapprentissagesenprofondeur?11h50 Conclusionetévaluationdel'atelier12h00Fin

21/05/19

4

Des QCMs…

pour quoi faire?

Facteursquifacilitentl’apprentissage

•  Lesétudiantsontdesoccasionsrégulièresdes’entraînerpourdesexamens1

•  Ilsontunerétroaction(feedback)immédiateetexploitablesurleursperformances²Ladémotivationpeutseproduiresil’étudiant:

•  necomprendpaslarétroaction•  nepeutpasexploiterlarétroactionpourdéterminerdesmesurescorrectivessursesstratégiesd’apprentissage3

[1]Balch,W.R.(1998).Practiceversusreviewexamsandfinalexamperformance.TeachingofPsychology,25,181-185.[2]Friedman,H.(2002).Immediatefeedback,Noreturntestprocedureforintroductorycourses.InR.Griggs(Ed.).Handbookforteachingintroductorypsychology(p.132).NewYork:LawrenceErlbaumAssociates.

[3]William,F.,Improvingfeedbackfrommultiplechoicetests.SIGCSEBull.,2002.34(3):p.196-196.

21/05/19

5

Application

Compréhension

Connaissance

Cré

atio

n Evaluation

Analyse

Niveauxlespluscomplexes

Bloom,B.S.(1954).TaxonomyofEducationalObjectives.NewYork:Longmans,GreenandCo.Krathwohl,D.R.,Bloom,B.S.,andMasia,B.B.(1964).Taxonomyofeducationalobjectives:HandbookII:Affectivedomain.NewYork:DavidMcKayCo.

TaxonomiedeBloom

TaxonomiedeBloom

•  Certainsexamensfontappelprincipalementaux3premiersniveauxdeBloom1

•  D’autresvisentdesniveauxsupérieurssansquelesétudiantsaientpus’entrainer!

•  Lesétudiantsretiennentmieuxl'informationquandelleestmanipuléeàdesniveauxpluscomplexes2

[1]Milton,Pollio,andEison,1986[2]Hamer,L.O.JournalofMarketingEducation,(22)1,25-34,2000.

21/05/19

6

D’autrestaxonomiesexistent

•  LataxonomiedeBloomactualiséeAnderson,Kratwohl,2001

•  LataxonomiedeSolo(StructureoftheObservedLearningOutcome)J.Biggs,K.Collis(1982).EvaluatingtheQualityofLearning:TheSOLOTaxonomy,NewYork:AcademicPress.

11

Notes

08/01/2019

21/05/19

7

Des QCMs…

comment faire?

Les3composantesdesQCM

•  Laconsigne

•  L’amorce– Nomméeaussil’énoncé,letronc,lecorps,l’introduction,laquestion

•  Lespropositions– Nomméesaussisolutionsproposéesousuggestions

DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986

21/05/19

8

LaconsigneLaconsignedécrit:

•  Lesmodalitéspourrépondre

•  Lesmodalitésdelanotation

•  Lebarème

•  Exemple

–  Pourlesquestionsquisuiventuneseulesolutionestconsidéréecommecorrecte

–  Sivoustrouvezlasolutioncorrectevousgagnezdespoints.Unesolutionincorrectevousenferaperdre.

–  Lanotationsefaitselonlebarèmesuivant…

DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986

L’amorceetlessuggestionsL’amorceposelaquestion

Lessuggestions•  Laréponse=labonne

réponse•  Lesdistracteurs=les

réponsesfausses

•  Exemple

–  Onveutdiluerdel’acidesulfuriqueconcentré.Laquelledesmanipulationsci-dessousestlaplussûre?

•  Exemple

1.  Onversel’acidedansl’eau2.  Onversel’eaudansl’acide3.  Onversel’eauetl’acideen

mêmetempsdansuntroisièmerécipient

DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986

21/05/19

9

Notes

08/01/2019

Notes

08/01/2019

21/05/19

10

AvantagesdesQCM•  Tempsdecorrectioncourt,correctionfacilitée•  Analysesynoptiquedesrésultats•  Possibilitéd’automatisationdel’analyse(informatique)

•  Garantiedel’objectivité1

•  Permetd’éviterdesréponsesvagues

•  Permetdecouvrirunematière•  Facilitelesdiagnosticsintermédiaires•  Favorisel’autorégulationimmédiate

•  Permetaussid’abordercertainsobjectifsdeniveauxpluscomplexes

[1]Laloteriedesnotesaubac-BrunoSuchaut-Mars2008(http://www.u-bourgogne.fr/iredu)

DésavantagesdesQCM[1/2]

•  3désavantagesprincipaux

– Difficultéd’évaluerlesaptitudesàrédiger

– Difficultéd’évaluerlesaptitudesàreformuler,àexprimersapenséeetàcréer

– Laprésentationdespropositionserronéespeutfavoriserl’assimilationdesavoirsinexacts1

DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986[1]Skinner(1961)

21/05/19

11

DésavantagesdesQCM[2/2]•  Désavantagessecondaires

–  Letempsdepréparationetlamiseaupointsontlaborieux

–  Parcellisationdesapprentissages

–  Plusfaciledecopierlesréponsesduvoisin

–  Possibilitéderépondreauhasard•  Augmenterlenombredepropositions•  Pénaliserlesréponsesfausses•  Utiliserlesdegrésdecertitude

DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986

Notes

08/01/2019

21/05/19

12

Quelquesprincipesdenotation•  UndesprincipauxreprochesfaitsauxquestionnairesintégrantdesQCMestla

possibilitéderépondreauhasard!

Importancedubarèmedenotation

Nonpriseencomptedesréponsesau

hasard

Pénalisationpour

«devinette»

Valorisationdel’omission

BarèmesTarifs Commentaire

Réponsecorrecte Omission Réponse

incorrecte

Simple +1 0 0 Encourageàrépondreauhasard

Avecpénalisationpour«guessing»

+1 0 -1/(k-1) Neutralisestatistiquementlescoredesréponsesauhasard

+1 0 -0,5Prendencomptequel’étudiantsaitsouventélimineruneoudeux

propositionsd’office

Avecpénalisation«symétrique» +1 0 -1 Découragefortementàrépondre

silacertituden’estpas100%

Avecvalorisationdel’omission +1 +1/k 0

Omissiondonnestatistiquementlemêmescorequederépondre

auhasard

18/10/2010BasileBailly

Rienn’empêchededonnerdespoidsdifférentsauxdistracteurssiparexempleils’agitd’uncontre-sensévident

Tableaun°1:BarèmesclassiquespourdesQCMavecksolutionsproposéesetcsolutionscorrectes(BouvyetVanhove,2005)

21/05/19

13

Barèmes

Tarifs

Réponsecorrecte Omission Réponseincorrecte

Avecpénalisationpour«guessing»

si1solutioncorrecte

+1 0 -1/(k-1)

Avecpénalisationpour«guessing»sicsolutionscorrectes

+1 0 -c/(k-c)

Idemavecunpoidsconstantdechaquequestion(score

total=1)

+1/c 0 -1/(k-c)

18/10/2010BasileBaillyTableaun°1:BarèmesclassiquespourdesQCMavecksolutionsproposéesetcsolutionscorrectes(BouvyetVanhove,2005)

Notes

08/01/2019

21/05/19

14

4catégoriespourlesrèglesdeconception

•  3règlesd’adéquationauxobjectifs•  3règlessurlavaleurdiagnostique

–  Nonrespectées:metencauselapertinencedesmesuresobtenuesetlapossibilitédelesinterpréterdefaçoncorrecte

•  6règlesgénéralesderédactiondesQCMs–  Nonrespectées:rendgénéralementlaquestionplusdifficile

•  8règlesderédactiondessolutions–  Nonrespectées:rendgénéralementlaquestionplusfacile

DieudonnéLeclercq,Laconceptiondesquestionsàchoixmultiple,Bruxelles:Labor,1986

Notes

08/01/2019

21/05/19

15

Des QCMs…

pour des apprentissages

en profondeur

30 D.Leclercq(2012)TSMpourCognitionMétacognitionetEpistémologie.AUTRANS-CIESGrenoble

Lecurriculumcaché•  Cequepersonne

n’enseignemaisquetoutlemondeapprend

•  LesSolutionsGénéralesImplicites(SGI)pourluttercontrelecurriculumcaché

Quino

21/05/19

16

Lecurriculumcaché

Unemauvaisehabitudementaleobservée!

Wow,uneQCM.Jevais...

1.   Apeinelirelaquestion2.   Sautersurlessolutions

proposées3.   Eliminerlesmoins

plausibles4.   Choisirmameilleure

devinette

Leprocessusespéré!

Alors,uneQCM.Jeréfléchis...

1.   Cettequestiona-t-elleunsens?Dois-jeyrépondre?

2.   Ai-jeassezdedonnées?

3.   QuelleestMAréponse?4.   Quesontlessolutions

proposées?

Absurde

Manque

Aucune,ToutesLamienne

21/05/19

17

Conseilspourutiliserlessolutionsgénérales

•  Proposerdesentraînementsauxétudiants

•  Introduirelesrèglesprogressivementdansvosquestionnaires

•  Différencierlessolutionsgénérales(absurdité-manquededonnées-toutes-aucune)

Notes

08/01/2019

21/05/19

18

Pourconclure:expliquezvosméthodesd’évaluation

•  Énoncezclairementlesobjectifsducours,lesmodalitésd’évaluation

•  Lesexamenssontdesopportunitésd’apprentissage:expliquezlesconsignes,présentezlesoutils

•  Avantlepremierexamen,expliquezànouveaulaprocédureetlesméthodespoursepréparer

Pourallerplusloin…–  Uyttebrouck,E.(2014).QCMetpointsnégatifs.ULB:PRAC-TICE.

Enligne:http://cte.ulb.ac.be/images/docs/Correction_for_guessing.pdf

–  IPM.(2012).QCM:Vigilance!LesMémosdel’IPM(n°23).Enligne:https://www.uclouvain.be/97784.html

–  FUNDP.(2009).LeQuestionnaireàChoixMultiple.REvueauServicedel'Enseignementetdel'Apprentissageàl'Université(n°69).

–  Leclercq,D.(1986).LaconceptiondesQuestionsàChoixMultiple.Bruxelles:Labor.http://www.elearning.ulg.ac.be/la_conception_des_qcm_avril_2008.pdf

–  Recherchesrécentessurl'utilisationdesDegrésdeCertitude:DirectionsderecherchesdanslecalculdesnotesliantexactitudeetréalismeCastaigne,Jean-LoupinActesdu18èmecolloqueinternationaldel'ADMEE:Commentévaluer?Outils,dispositifsetacteurs(2005,October)http://orbi.ulg.ac.be/bitstream/2268/23416/1/2005_castaigne_admee_reims.pdf