Aller plus loin avec les QCM grâce aux degrés de certitude

Aller plus loin avec les QCM grâce aux

degrés de certitude

S Abry — B Bailly — JL Castaigne — E Sylvestredimanche 13 décembre 2015

A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015

Abraham Maslow

2

1943

dimanche 13 décembre 2015


Objectifs de l’atelierÀ la fin de cet atelier, vous serez capable

de construire un argumentaire pour l'utilisation des QCM avec Degrés de Certitude

de différencier différentes méthodes d'utilisation des QCM avec Degrés de Certitude

de choisir la méthode la plus adaptée aux objectifs que vous vous fixez

3

À la fin de cet atelier, vous serez capable



Introduction

Activité

Mise en commun

Pause

Activité

Mise en commun

Conclusion

Plan

4dimanche 13 décembre 2015


PlanIntroduction

Activité

Mise en commun

Pause

Activité

Mise en commun

Conclusion5



Question à Choix MultipleL’unité de mesure de la force d’un piment est le

1. scoville.

2.thermoptim.

3.cherit.

4.hauy.

6

Amorce

Propositions

Réponse correcte

Distracteurs

L’unité de mesure de la force d’un piment est le scoville.L’unité de mesure de la force d’un piment est le thermoptim.



2 étudiants ont 16 / 20Sont-ils égaux ?

À ce degré de finesse de mesure oui, mais…

si nous ajoutons la notion de certitude des réponses choisies, nous augmentons la finesse et dès lors, nous pouvons imaginer…

7

Castaigne, 2006



2 étudiants ont 16 / 20étudiant A

4 erreurs mais chaque erreur avec une certitude >60%

16 réponses correctes mais chaque fois avec une certitude <40%

étudiant B

4 erreurs mais chaque erreur avec une certitude <40%

16 réponses correctes mais chaque fois avec une certitude >60%

8

Castaigne, 2006



Ce qu’il ne faut pas faireNe jamais utiliser des expressions verbales pour exprimer sa certitude comme sûr, très sûr, sûr et certain, peu sûr, pas sûr du tout, moyennement sûr...



2 stagiairesSur pour 10 questionsPas sur pour 6 questions

0

2

4

6

0 % 20 % 40 % 60 % 80 % 100 %

SurPas sur

10Castaigne, 2005dimanche 13 décembre 2015


Shuford, Albert & MassengillNe pas utiliser d’expressions verbales (pas sûr, peu sûr, moyennement sûr, très sûr, sûr et certain,...)

Utiliser des expressions numériques (probabilités subjectives) comme

certitude de 0%, 20%, 40%, 60%, 80% ou à 100%

certitude entre 0 et 25%, 25-50, 50-70, 70-85, 85-95 et entre 95 et 100%

11

Admissible Probability Measurement Procedures Emir H. Shuford, Arthur Albert and H. Edward Massengill

1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145


http://www.springerlink.com/content/?Author=Emir+H.+Shuford


http://www.springerlink.com/content/?Author=Arthur+Albert


http://www.springerlink.com/content/?Author=H.+Edward+Massengill


http://www.springerlink.com/content/0033-3123/


http://www.springerlink.com/content/0033-3123/31/2/



PlanIntroduction

Activité

Mise en commun

Pause

Activité

Mise en commun

Conclusion12

Auguste Rodin, 1880Le Penseur, Bronze, Paris : Musée Rodin



Lorsque l’on cote les réponses de l’étudiant, il reçoit plus de points pour une réponse correcte donnée avec une certitude plus élevée qu’une réponse correcte donnée avec une certitude plus basse.

Barème lié à chaque question

13

Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%

RC +13 +16 +17 +18 +19 +20RI +4 +3 +2 +0 -6 -20

Leclercq, 1975



Barème par test

14

Sur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant.

Score d’exactitude

RI:-0,25RC:+1

Omis:-0,50dimanche 13 décembre 2015


Barème par test

15

Sur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant. Ensuite, sur base de calcul d’indices à partir des DC portant sur l’ensemble des questions, on ajoute des points (pas de perte).

indicesScore

d’exactitudeScore de réalisme+

Leclercq, 2003

RI:-0,25RC:+1



Pas de barème

16

TarifRéponse Correcte (RC) = +1Réponse Incorrecte (RI) = - 0,25Omission = - 0,5

Les degrés de certitude n’influencent pas le score (certitude de 0%, 20%, 40%, 60%, 80% ou à 100%)

Castaigne, 2005



PlanIntroduction

Activité

Mise en commun

Pause

Activité

Mise en commun

Conclusion17

Escher M.C., 1935 Mains avec sphère


http://postershop.fr/Escher-MC-p.html

http://postershop.fr/Escher-MC-p.html


4 règles d’utilisation DC 1. Une consigne probabiliste



Probabilités de certitudeAdmissible Probability Measurement Procedures

Emir H. Shuford, Arthur Albert and H. Edward Massengill1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145

Ne pas utiliserd’expressions

verbales

Utilisez des pourcentages

0% 20% 40% 60% 80% 100%0-25% 25-50% 50-70%

70-85% 85-95% 95-100%19














2. Un barème respectant la théorie des décisions

20

Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%

RC +13 +16 +17 +18 +19 +20RI +4 +3 +2 +0 -6 -20



PlanIntroduction

Activité

Mise en commun

Pause

Activité

Mise en commun

Conclusion21

http

://a

ngie

mcg

over

n.fil

es.w

ordp

ress

.com

/201

0/01

/big

stoc

kpho

to_

we_

all_

mak

e_m

ista

kes_

_13

1640

.jpg


http://angiemcgovern.files.wordpress.com/2010/01/bigstockphoto_we_all_make_mistakes__131640.jpg

http://angiemcgovern.files.wordpress.com/2010/01/bigstockphoto_we_all_make_mistakes__131640.jpg




3. un feedback métacognitif (graphes, indices,…)



Score avec les DCNombre de Réponses Correctes (RC)

23

Note et indices

Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100%

RC +13 +16 +17 +18 +19 +20RI +4 +3 +2 +0 -6 -20

Leclercq, 1975


A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 24

Note et indices

Leclercq, 1975

+18

+4

Total = 22 / 40= 11 / 20

Pourcentage de RC = 1 / 2= 10 / 2O

FAUX

OK

0-25% 25-50% 50-70% 70-85% 85-95% 95-100%+13 +16 +17 +18 +19 +20+4 +3 +2 +0 -6 -20



Note et indices

Brown et Shuford (1973)Leclercq et Gilles (1994)

Droite de réalisme idéal

Certitude choisie

Réalisme idéal

Pour

cent

age

de

RC



Réalisme par classe de certitude

26

Note et indices

Brown et Shuford (1973)Leclercq et Gilles (1994)Certitude choisie

Pour

cent

age

de

RC

Pour toutes les QCM où vous avez choisi une

certitude de 20%

Vous avez pour ces QCM 38% de

réponses correctes

Vous avez réussi plus (38%)

qu’annoncé (20%)



Droite de réalisme idéal et sur- ou sous-estimation

27

Note et indices

Brown et Shuford (1973)Leclercq et Gilles (1994)Certitude choisie

Pour

cent

age

de

RC

Vous avez réussi moins qu’annoncé SUR estimation

Vous avez réussi plus qu’annoncé SOUS estimation



Note et indicesSur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant. Ensuite, sur base du calcul à partir des DC portant sur l’ensemble des questions, on ajoute des points (pas de perte de points).

Score d’exactitude

Score de réalisme+

Leclercq, 2003

indicesRI:-0,25RC:+1



Note et indicesScore de “réalisme” = bien utiliser les DC

DC élevés avec les RC

DC bas avec les RI

Indices : degré de certitude moyen

des Réponses Correctes (RC)

des Réponses Incorrectes (RI)



Note et indices

11

FAUXOK



Note et indices!"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'&

01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*'

!"" #" $" %" &" "' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5

" &" %" $" #" !""6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5

71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66'

!"" #" $" %" &" "' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5

" &" %" $" #" !""6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5

?1 @"*5*. .' A'*B56 5 &$->>'*+

!"" #" $" %" &" "' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5

" &" %" $" #" !""6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5

C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI

!"" #" $" %" &" "' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5

" &" %" $" #" !""6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5

J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99"

!"" #" $" %" &" "' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5

" &" %" $" #" !""6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5

H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .'

!"" #" $" %" &" "' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5

" &" %" $" #" !""6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5

Q1 R% &'*#'%+ $#/($#/54' 95%4' .'&

!"" #" $" %" &" "' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5

" &" %" $" #" !""6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5

I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6'

!"" #" $" %" &" "' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5

" &" %" $" #" !""6 \ :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5

G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+

!"" #" $" %" &" "' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5

" &" %" $" #" !""6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5

0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99'

!"" #" $" %" &" "' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5

" &" %" $" #" !""6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5

001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5

!"" #" $" %" &" "' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5

" &" %" $" #" !""6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5

071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9'

!"" #" $" %" &" "' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5

" &" %" $" #" !""6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5

0?1 E' B$6+ '&+ 6N-%(+" .'

!"" #" $" %" &" "' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5

" &" %" $" #" !""6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5

0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*('

!"" #" $" %" &" "' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5

" &" %" $" #" !""6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5

0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+

!"" #" $" %" &" "' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5

" &" %" $" #" !""6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5

0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .'

!"" #" $" %" &" "' &_`/ 0 [_`/ "5 &"5 %"5

" &" %" $" #" !""6 %_[/ 8 $_Z/ $"5 #"5 !""5

0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+

!"" #" $" %" &" "' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5

" &" %" $" #" !""6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5

0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(&

!"" #" $" %" &" "' !ZZZ/ 0 &""!/ "5 &"5 %"5

" &" %" $" #" !""6 &"""/ 8 &""&/ $"5 #"5 !""5

0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+"

!"" #" $" %" &" "' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5

" &" %" $" #" !""6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5

7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+

!"" #" $" %" &" "' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5

" &" %" $" #" !""6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5

S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_ ,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1 ,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N

=2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/62*L:, e

!"#$%&' )$**')+' \ ]0 !"#$%&' (%)$**')+' \ S<7J P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' \ S<J

15 0 2 0 0 6 750 1 0 2 2 0

0 80 2000 80 40 0

0 x 100 = 01 x 80 = 80

1220 0 40 0 0 480 700

7 x 100 = 700

40 8140<50 : +1 81>50 : +1

200 ÷ 5 = 50 1220 ÷ 15 = 81



RI:-0,25RC:+1

Omis:-0,513,75

Note et indices

15

!"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'&01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*'

!"" #" $" %" &" "' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5

" &" %" $" #" !""6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5

71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66'

!"" #" $" %" &" "' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5

" &" %" $" #" !""6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5

?1 @"*5*. .' A'*B56 5 &$->>'*+

!"" #" $" %" &" "' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5

" &" %" $" #" !""6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5

C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI

!"" #" $" %" &" "' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5

" &" %" $" #" !""6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5

J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99"

!"" #" $" %" &" "' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5

" &" %" $" #" !""6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5

H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .'

!"" #" $" %" &" "' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5

" &" %" $" #" !""6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5

Q1 R% &'*#'%+ $#/($#/54' 95%4' .'&

!"" #" $" %" &" "' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5

" &" %" $" #" !""6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5

I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6'

!"" #" $" %" &" "' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5

" &" %" $" #" !""6 \ :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5

G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+

!"" #" $" %" &" "' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5

" &" %" $" #" !""6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5

0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99'

!"" #" $" %" &" "' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5

" &" %" $" #" !""6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5

001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5

!"" #" $" %" &" "' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5

" &" %" $" #" !""6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5

071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9'

!"" #" $" %" &" "' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5

" &" %" $" #" !""6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5

0?1 E' B$6+ '&+ 6N-%(+" .'

!"" #" $" %" &" "' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5

" &" %" $" #" !""6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5

0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*('

!"" #" $" %" &" "' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5

" &" %" $" #" !""6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5

0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+

!"" #" $" %" &" "' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5

" &" %" $" #" !""6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5

0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .'

!"" #" $" %" &" "' &_`/ 0 [_`/ "5 &"5 %"5

" &" %" $" #" !""6 %_[/ 8 $_Z/ $"5 #"5 !""5

0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+

!"" #" $" %" &" "' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5

" &" %" $" #" !""6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5

0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(&

!"" #" $" %" &" "' !ZZZ/ 0 &""!/ "5 &"5 %"5

" &" %" $" #" !""6 &"""/ 8 &""&/ $"5 #"5 !""5

0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+"

!"" #" $" %" &" "' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5

" &" %" $" #" !""6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5

7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+

!"" #" $" %" &" "' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5

" &" %" $" #" !""6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5

S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_ ,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1 ,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N

=2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/62*L:, e

!"#$%&' )$**')+' \ ]0 !"#$%&' (%)$**')+' \ S<7J P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' \ S<J

0 2 0 0 6 750 1 0 2 2 0

2000 80 0 80 40 0 1220 0 40 0 0 480 700

40 8140<50 : +1 81>50 : +1

15,75

+1 +1

-1,25 +15



Note et indicesTarif

Réponse Correcte (RC) = +1Réponse Incorrecte (RI) = - 0,25Omission = - 0,5

Les degrés de certitude n’influencent pas le score

Castaigne, 2004



RI:-0,25RC:+1

Omis:-0,5

Note et indices

FAUXOK

7 0 0 1 0 3 3132 2 3 1 4 1

-3,25 +73,75



Note et indices0 0 1 0 3 32 2 3 1 4 1

3,75

dʼaprès Hunt & Furustig (1989); Hunt (2003); Jans & Leclercq (1999); Leclercq (2003)



PlanIntroduction

Activité

Mise en commun

Pause

Activité

Mise en commun

Conclusion36

"Escheresque Metacognition"1998, Timothy R. Haldane





3. Un feedback métacognitif (graphes, indices,…)

4. un entraînement des étudiants



Entraînement

38

Test-Wiseness

Examen “blanc”

Banque de questions en ligne

0 5 10 20 30 40 50Samson, 1985Berliner, 1986



Entraînement

39

Castaigne et Gilles, 2001



PlanIntroduction

Activité

Mise en commun

Pause

Activité

Mise en commun

Conclusion40

"L'Angélus" 1858, Jean-François MilletCourant Réaliste

Huile sur toile, 55 × 66 cmMusée d'Orsay, Paris


http://fr.wikipedia.org/wiki/Mus%C3%A9e_d%27Orsay

http://fr.wikipedia.org/wiki/Mus%C3%A9e_d%27Orsay

http://fr.wikipedia.org/wiki/Paris

http://fr.wikipedia.org/wiki/Paris


Mét

acog

nition

rég

ulat

rice

(No

ël 199

1)

Castaigne, 2005



Bruno De Finetti

42

“It is only subjective probability that can give an objective meaning to every response and scoring method.” (p. 111)

« Methods of discriminating levels of partial knowledge concerning a test item » Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.

(1906-1985)


Maslow, A. H. (1943). A theory of human motivation. Psychological review, 50(4), 370.Castaigne, J.-L. (2006). Excel spreadsheet to support veterinary student’s metacognition. Presented at the Second bi-annual Conference of EARLI SIG Metacognition, Cambridge, United Kingdom. Retrieved from http://orbi.ulg.ac.be/handle/2268/23434Castaigne, J.-L. (2005). Recherches récentes sur l’utilisation des Degrés de Certitude Recherches récentes sur l’utilisation des Degrés de Certitude : Directions de recherches dans le calcul des notes liant exactitude et réalisme. In Actes du 18ème colloque international de l’ADMEE : Comment évaluer ? Outils, dispositifs et acteurs. Reims, France. Retrieved from http://orbi.ulg.ac.be/handle/2268/23416Shuford, E., Albert, A., & Massengill, H. (1966). Admissible probability measurement procedures. Psychometrika, 31(2), 125–145.Leclercq, D. (1975). L’évaluation subjective de la probabilité d’exactitude des réponses en situation pédagogique (Doctorat en Sciences de l’Education). Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/10119Leclercq, D., & Poumay, M. (2003). Trois nouveaux indices de réalisme dans l’auto-évaluation des performances. Cahiers du Service de Pédagogie Expérimentale (SPE), 15-16. Retrieved from http://orbi.ulg.ac.be/handle/2268/27518Castaigne, J.-L. (2005). Un outil d’autoréflexion cognitive et métacognitive pour l’amélioration des performance. Presented at the Journée d’étude AIPU-CFB -- AdAPTE : L’accompagnement pédagogique : Un outil pour favoriser la réussite dans l’enseignement supérieur., Gembloux, Belgique. Retrieved from http://orbi.ulg.ac.be/handle/2268/23418Brown, T. A., & Shuford, E. H. (1973). Quantifying uncertainty into numerical probabilities for the reporting of intelligence. DTIC Document. Retrieved from http://oai.dtic.mil/oai/oai?verb=getRecord&metadataPrefix=html&identifier=AD0777063Leclercq, D., & Gilles, J.-L. (1994). GUESS, un logiciel pour s’entraîner à l’auto-estimation de sa compétence cognitive. In QCM et questionnaires fermés, actes du 3ème colloque international ESIEE (pp. 137–158). Marne-la-Vallée, France: Université Paris 7 Denis Diderot, Laboratoire d’Ingénierie Didactique. Retrieved from http://orbi.ulg.ac.be/handle/2268/8953Hunt, D. P., & Furustig, H. (1989). Being informed, being misinformed and disinformation: A human learning and performance approach. National Defence Research Institute, Technical Report PM, 56(238), 1–17.Hunt, D. P. (2003). The concept of knowledge and how to measure it. Journal of Intellectual Capital, 4(1), 100–113.Jans, V., & Leclercq, D. (1999). Mesurer l’effet de l’apprentissage à l’aide de l’analyse spectrale des performances. In L’évaluation des compétences et des processus cognitifs: modèles, pratiques et contextes (pp. 303–317). Bruxelles, Belgique: De Boeck Université. Retrieved from http://orbi.ulg.ac.be/handle/2268/27553Leclercq, D. (2003). Diagnostic cognitif et métacognitif au seuil de l’Université : le projet Mohican mené par les 9 universités de la Communauté française Wallonie-Bruxelles. Liège, Belgique: Editions de l’Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/17837Samson, G. E. (1985). Effects of Training in Test-Taking Skills on Achievement Test Performance: A Quantitative Synthesis. The Journal of Educational Research, 78(5), 261–266. http://doi.org/10.1080/00220671.1985.10885613Berliner, D. C. (1986). In pursuit of the expert pedagogue. Educational Researcher, 5–13.Castaigne, J.-L., Gilles, J.-L., & Hanzen, C. (2001). Application du cycle gestion qualité SMART des tests pédagogiques au cours d’obstétrique et pathologie de la reproduction des ruminants, équidés et porcs. In Actes du 18e congrès de l’AIPU : Les stratégies de réussite dans l’enseignement supérieur. Dakar, Sénégal: Université Cheikh Anta Diop. Retrieved from http://orbi.ulg.ac.be/handle/2268/23014Castaigne, J.-L. (2005). Directions de recherches dans le calcul des notes liant exactitude et réalisme: illustration à travers une démarche en formation à distance. In Actes du 22e congrès de l’association internationale de pédagogie universitaire (AIPU) : L’enseignement supérieur du {XXIe} siècle : de nouveaux défis à relever. Genève, Switzerland. Retrieved from http://orbi.ulg.ac.be/handle/2268/23420Finetti, B. de. (1965). Methods for Discriminating Levels of Partial Knowledge Concerning a Test Item. British Journal of Mathematical and Statistical Psychology, 18(1), 87–123. http://doi.org/10.1111/j.2044-8317.1965.tb00695.x



Jean-Loup Castaigne, 04 78 79 43 24 [email protected]

Yvan Pigeonnat 04 76 82 82 56 [email protected]

Mis à disposition selon les termes de la licence Creative CommonsPaternité - Pas d'Utilisation Commerciale - Pas de Modification.


mailto:[email protected]




http://creativecommons.org/licenses/by-nc-nd/3.0/


