UNE CRC ÉQUITABLE PERSPECTVIVES - aqpc.qc.caaqpc.qc.ca/sites/default/files/files/colloque/publications/crc... · CRC moins élevée en formation générale qu’en formation spécifique

UNE CRC ÉQUITABLE PERSPECTIVES

Réjean Drolet, Richard Guay et Martin Riopel

Plan

PASSÉ

■ Un bref historique

■ Des hypothèses implicites mal connues

PRÉSENT

■ Une nouvelle proposition théorique

■ Des confirmations empiriques

FUTUR

■ Le rendement minimal associé à la réussite des cours

■ Mesure des apprentissages à long terme?

■ Évaluation de compétence pragmatique?

Juin 2018 Une CRC équitable - Perspectives 2

PASSÉ

Un bref historique*

■ Automne 1977 – Implantation de la Cote Z (sans IFG)

■ Automne 1996 – Implantation de la CRC (avec IFG)

■ Hiver 2005 – Pondération des échecs (0,25 ou 0,5)

■ Automne 2007 – Ajout des cours d’éducation physique

■ Automne 2009 – IFG base sur les matières obligatoires

■ Automne 2009 – CRC par programme

4

*Source: Site du Bureau de coopération interuniversitaire (BCI) , 2017

Juin 2018 Une CRC équitable - Perspectives

Un bref historique (tiré de BCI, 2017)

■ 2009 a 2011 – Interrogations soulevées suite à l’implantation de la réforme au

secondaire à partir de 2005

■ 2011 – Mandat donné par le Comité de liaison de l’enseignement supérieur (CLES)

au Comité de gestion du bulletin des études collégiales (CGBEC) pour travailler sur « certaines problématiques reliées aux paramètres actuels servant à établir la cote R »

■ 2014 – Rapport du CGBEC suite au mandat de 2011

■ Automne 2017 – Implantation de la nouvelle CRC (avec IFGZ et IDGZ) rétroactive à

l’automne 2014

5 Juin 2018 Une CRC équitable - Perspectives

Des hypothèses mal connues

■ Depuis ses débuts, dans les différents calculs utilisés pour la CRC, la seule variable

qui est associée directement à la note de l’étudiant est la cote Z

■ La cote R est une cote Z corrigée par les caractéristiques du groupe.

■ Elle correspond à une transformation linéaire qui fait en sorte que plusieurs effets

linéaires importants liés aux professeurs et aux étudiants disparaissent

complètement du calcul

■ En voici quelques exemples…


Si les groupes sont équivalents au début et à la fin du trimestre…


Un prof est plus exigeant qu’un autre

8

50

60

70

80

90

100

Étudiant 1 Étudiant 2 Étudiant 3

Professeur 1 Professeur 2


Un prof est plus discriminant qu’un autre

9

50

60

70

80

90

100




Un prof est à la fois plus exigeant et plus discriminant

10

50

60

70

80

90

100




L’ancienne cote R

Zcor = (Cote Z + IFG)

■ La force des groupes mesurée par des notes au secondaire est prise en compte pour corriger la cote Z.

CRC = (Zcor+ 5) x 5

■ Les nombres 5 dans la formule font en sorte que la CRC soit positive et varie entre 0 et 50 (échelle théorique)

■ Normalement, 95 % des CRC se situent entre 20 et 34 (moyenne aux alentours de 27)

Cote Z = (note – moyenne) / ecart-type

■ Par convention, limitée à l’intervalle de -3 à 3

■ Ramène sur une même échelle les évaluations faites par les professeurs tout en respectant les classements : en conséquence, elle élimine toutes les différences initiales entre les groupes au collégial

IFG = (Mgr – 75) / 14

■ Mgr correspond a la moyenne des notes obtenues en 4e et 5e secondaire des étudiants faisant partie du groupe

■ Ajoute a la cote Z une correction qui tient compte de la force du groupe : plus un groupe est composé d’élèves forts, plus la cote Z de chacun des étudiants de ce groupe sera corrigée a la hausse et inversement

Octobre 2017 La nouvelle CRC - Martin Riopel 11 Juin 2018 Une CRC équitable - Perspectives

Observations empiriques

■ Les notes écoles au secondaire sont biaisées (sur cotation ou sous cotation selon les écoles)

■ Pris dans leur ensemble, les étudiants du programme Sciences de la nature avaient une CRC plus élevée en formation générale qu’en formation spécifique.

■ Pris dans leur ensemble, les étudiants du programme Sciences humaines avaient une CRC moins élevée en formation générale qu’en formation spécifique.

■ C’est en éducation physique que les étudiants du programme Sciences, lettres et arts, pris dans leur ensemble, avaient la CRC la plus élevée.

■ L’ancienne cote R était corrélée significativement avec les caractéristiques des groupes mais moins que la seule cote Z.

■ La dispersion des groupes n’est pas aléatoire.


Caractéristiques des groupes au collégial


Un cas concret: deux groupes, deux réalités

Prog SEC MM

COL Note CRCZcol CRCMGMO

700A0 94,5 67 11,73 17,28

700A0 80,2 72 16,27 21,83

700A0 93,2 72 16,27 21,83

700A0 84,8 76 19,91 25,47

700A0 97,2 77 20,82 26,37

700A0 89,7 77 20,82 26,37

700A0 90,4 78 21,73 27,28

700A0 90,8 79 22,64 28,19

700A0 93,2 79 22,64 28,19

700A0 92,2 80 23,55 29,10

700A0 83,7 80 23,55 29,10

700A0 89,6 81 24,45 30,01

700A0 93,7 81 24,45 30,01

700A0 89,9 81 24,45 30,01

700A0 97,3 81 24,45 30,01

700A0 88,8 82 25,36 30,92

700A0 88,6 82 25,36 30,92

700A0 93,5 82 25,36 30,92

700A0 92,4 83 26,27 31,83

700A0 93,5 83 26,27 31,83

700A0 95,5 84 27,18 32,74

700A0 91,5 85 28,09 33,65

700A0 92,2 86 29,00 34,56

700A0 92,2 86 29,00 34,56

700A0 92,0 87 29,91 35,47

700A0 94,0 88 30,82 36,38

700A0 96,4 88 30,82 36,38

700A0 95,9 89 31,73 37,29

700A0 96,7 91 33,55 39,10

700A0 94,9 91 33,55 39,10

Prog SEC MM

COL Note CRCZcol CRCMGMO

300A0 67,6 53 14,99 15,85

300A0 76,0 60 18,81 19,67

300A0 75,6 62 19,90 20,76

300A0 77,8 64 20,99 21,85

500A1 74,7 67 22,63 23,49

300A0 72,7 71 24,81 25,67

300A0 85,7 72 25,36 26,22

300A0 77,4 74 26,45 27,31

300A0 77,9 75 26,99 27,86

300A0 78,8 76 27,54 28,40

300A0 84,6 77 28,09 28,95

500A1 78,4 78 28,63 29,49

300A0 81,8 79 29,18 30,04

300A0 79,9 81 30,27 31,13

300A0 78,7 83 31,36 32,22

200B0 91,3 85 32,45 33,31

200B0 89,6 89 34,64 35,50

Cours de littérature (601700) – Sciences, lettres et arts – Cégep public

Moyenne MM: 82,3

Moyenne MM: 90,7

Cours de littérature (601101) – Plusieurs programmes – Cégep public

Illustration de l’inéquité

Prog MM Note CRCZcol CRCMGMO

700A0 94,5 67 11,73 17,28

700A0 80,2 72 16,27 21,83

700A0 93,2 72 16,27 21,83

700A0 84,8 76 19,91 25,47

700A0 97,2 77 20,82 26,37

700A0 89,7 77 20,82 26,37

700A0 90,4 78 21,73 27,28

700A0 90,8 79 22,64 28,19

700A0 93,2 79 22,64 28,19

700A0 92,2 80 23,55 29,10

700A0 83,7 80 23,55 29,10

700A0 89,6 81 24,45 30,01

700A0 93,7 81 24,45 30,01

700A0 89,9 81 24,45 30,01

700A0 97,3 81 24,45 30,01

700A0 88,8 82 25,36 30,92

700A0 88,6 82 25,36 30,92

700A0 93,5 82 25,36 30,92

700A0 92,4 83 26,27 31,83

700A0 93,5 83 26,27 31,83

700A0 95,5 84 27,18 32,74

700A0 91,5 85 28,09 33,65

700A0 92,2 86 29,00 34,56

700A0 92,2 86 29,00 34,56

700A0 92,0 87 29,91 35,47

700A0 94,0 88 30,82 36,38

700A0 96,4 88 30,82 36,38

700A0 95,9 89 31,73 37,29

700A0 96,7 91 33,55 39,10

700A0 94,9 91 33,55 39,10

Prog MM Note CRCZcol CRCMGMO

300A0 67,6 53 14,99 15,85

300A0 76,0 60 18,81 19,67

300A0 75,6 62 19,90 20,76

300A0 77,8 64 20,99 21,85

500A1 74,7 67 22,63 23,49

300A0 72,7 71 24,81 25,67

300A0 85,7 72 25,36 26,22

300A0 77,4 74 26,45 27,31

300A0 77,9 75 26,99 27,86

300A0 78,8 76 27,54 28,40

300A0 84,6 77 28,09 28,95

500A1 78,4 78 28,63 29,49

300A0 81,8 79 29,18 30,04

300A0 79,9 81 30,27 31,13

300A0 78,7 83 31,36 32,22

200B0 91,3 85 32,45 33,31

200B0 89,6 89 34,64 35,50


Cours de littérature (601700) – Sciences, lettres et arts – Cégep public

MM: 82,3 CRC ZCol: 29,9 CRC ancienne (MGMO): 30,8

MM: 90,7 CRC ZCol: 21,2 CRC ancienne (MGMO): 26,7

PRÉSENT

Un nouveau cadre théorique

■ Pour être équitable, la nouvelle cote ne doit contenir aucun biais qui proviendrait des caractéristiques des groupes d’appartenance.

■ Il y a un biais si, dans un regroupement (groupe, programme, etc), la Zcor au collégial est différente de la Z au secondaire: cela signifie que les caractéristiques du groupe jouent en faveur ou en défaveur des étudiants

■ Il existe une situation théorique pour laquelle on peut évaluer tous les biais.

■ Elle correspond au cas où tous les étudiants conservent exactement la même cote dans tous leurs cours en passant du secondaire au collégial.

■ Dans ce cas théorique, mais tout de même possible, on peut démontrer que la nouvelle cote proposée ne comporte pas de biais contrairement à l’ancienne.

Octobre 2017 La nouvelle CRC - Martin Riopel 17 Juin 2018 Une CRC équitable - Perspectives

L’équité: représentation graphique

Traitement équitable

Traitement inéquitable

Biais pénalisant

Traitement inéquitable

Biais bonifiant

Un losange représente la moyenne

des étudiants d’un programme

dans un collège


La nouvelle cote R

Zcor = ((Zcol x IDGZ) + IFGZ)

CRC = (Zcor+ 5) x 5

■ Zcol = (note – moyenne) / écart-type

■ IFGZ = indicateur de force de groupe base sur la moyenne des cotes Z au secondaire des étudiants qui composent le groupe.

■ IDGZ = indicateur de dispersion de groupe base sur l’écart-type des cotes Z au secondaire des étudiants qui composent le groupe.

De plus, par convention

■ Zcol limitée à l’intervalle de -3 à 3

■ IFGZ limité à l’intervalle de -2 à 2

■ IDGZ limité à l’intervalle de 0,5 à 1,5


Démonstration théorique

Moyenne du groupe = IFGZ

Ecart-type du groupe = IDGZ

Zcol = (Zsec – IFGZ) / IDGZ

Zcor = Zcol x IDGZ + IFGZ

CRC = (Zcor+ 5) x 5

CRC = (((Zsec – IFGZ) / IDGZ) x IDGZ+ IFGZ + 5) x 5

CRC = (Zsec + 5) x 5

CRC ne dépend pas du groupe (IFGZ et IDGZ) et donc pas de biais.

Dans ce cas idéal, peu importe le groupe, le programme, le collège, l’étudiant obtient EXACTEMENT la même CRC.


Confirmations empiriques

■ Tous les étudiants et tous les programmes du collégial pour la cohorte 2009 (N = 27 224)

■ Quatre indicateurs d’équité décrivant la relation entre la cote au collégial et la cote au

secondaire

– A - corrélation partielle entre l’écart et la force du groupe ;

– B - corrélation partielle entre l’écart et l’hete rogene ite du groupe ;

– C - écart-type de l’écart ;

– D - corrélation entre les cotes au collégial et au secondaire.

■ Les cas de certains programmes


Confirmations empiriques - 1

22

Z R1 R2


Confirmations empiriques - 2

■ Pris dans leur ensemble, les étudiants des programmes Sciences de la nature ou

Sciences humaines ont une CRC équivalente en formation générale et en formation

spécifique.

■ La droite d’équité


Ancienne

Représentation graphique de l’équité de la nouvelle CRC

Nouvelle


Illustration de l’inéquité … à l’équité Cours de littérature (601700BB) – Sciences, lettres et arts - Cégep public

Prog MM Note CRCZcol CRCMGMO CRCFDMM

700A0 94,5 67 11,73 17,28 26,67

700A0 80,2 72 16,27 21,83 29,10

700A0 93,2 72 16,27 21,83 29,10

700A0 84,8 76 19,91 25,47 31,04

700A0 97,2 77 20,82 26,37 31,52

700A0 89,7 77 20,82 26,37 31,52

700A0 90,4 78 21,73 27,28 32,01

700A0 90,8 79 22,64 28,19 32,50

700A0 93,2 79 22,64 28,19 32,50

700A0 92,2 80 23,55 29,10 32,98

700A0 83,7 80 23,55 29,10 32,98

700A0 89,6 81 24,45 30,01 33,47

700A0 93,7 81 24,45 30,01 33,47

700A0 89,9 81 24,45 30,01 33,47

700A0 97,3 81 24,45 30,01 33,47

700A0 88,8 82 25,36 30,92 33,95

700A0 88,6 82 25,36 30,92 33,95

700A0 93,5 82 25,36 30,92 33,95

700A0 92,4 83 26,27 31,83 34,44

700A0 93,5 83 26,27 31,83 34,44

700A0 95,5 84 27,18 32,74 34,92

700A0 91,5 85 28,09 33,65 35,41

700A0 92,2 86 29,00 34,56 35,89

700A0 92,2 86 29,00 34,56 35,89

700A0 92,0 87 29,91 35,47 36,38

700A0 94,0 88 30,82 36,38 36,87

700A0 96,4 88 30,82 36,38 36,87

700A0 95,9 89 31,73 37,29 37,35

700A0 96,7 91 33,55 39,10 38,32

700A0 94,9 91 33,55 39,10 38,32

Prog MM Note CRCZcol CRCMGMO CRCFDMM

300A0 67,6 53 14,99 15,85 17,15

300A0 76,0 60 18,81 19,67 20,07

300A0 75,6 62 19,90 20,76 20,91

300A0 77,8 64 20,99 21,85 21,74

500A1 74,7 67 22,63 23,49 22,99

300A0 72,7 71 24,81 25,67 24,66

300A0 85,7 72 25,36 26,22 25,08

300A0 77,4 74 26,45 27,31 25,91

300A0 77,9 75 26,99 27,86 26,33

300A0 78,8 76 27,54 28,40 26,75

300A0 84,6 77 28,09 28,95 27,16

500A1 78,4 78 28,63 29,49 27,58

300A0 81,8 79 29,18 30,04 28,00

300A0 79,9 81 30,27 31,13 28,83

300A0 78,7 83 31,36 32,22 29,67

200B0 91,3 85 32,45 33,31 30,50

200B0 89,6 89 34,64 35,50 32,17


Ancienne - Nouvelle

Ancienne - Nouvelle

Ancienne Nouvelle


FUTUR

Le rendement minimal associé à la réussite d’un cours


Une mesure de l’apprentissage?


Si les groupes ne sont équivalents qu’au début du trimestre…


Un groupe a moins appris. Pourquoi?

30

50

60

70

80

90

100


Groupe 1 Groupe 2


Un prof convient mieux aux étudiants plus forts

31

50

60

70

80

90

100




Un prof a produit moins d’apprentissage et convient moins aux étudiants faibles

32

50

60

70

80

90

100




Mesure des apprentissages à long terme?

■ La nouvelle cote R présente l’avantage d’être généralisable à tous les ordres

d’enseignement du primaire à l’université.

■ On a vu précédemment qu’elle élimine les effets linéaires liés à la qualité de

l’enseignement ainsi qu’à la quantité d’apprentissage pour un ordre

d’enseignement donné.

■ Cependant, on peut démontrer qu’il serait possible, avec des cotes provenant de

plusieurs ordres, de suivre les apprentissages à long terme.

■ Par exemple, avec l’introduction d’une cote R universitaire, on pourrait comparer de

façon standardisée les résultats pour des étudiants provenant de collèges différents

afin de tirer des conclusions sur leurs apprentissages à long terme.


Pourquoi ça serait intéressant?

■ Dans le système d’éducation actuel, on s’intéresse beaucoup aux mesures de

performance et peu aux mesures d’apprentissage.

■ Ça ne serait pas exigeant au niveau des ressources car il n’y a pas de nouvelles

épreuves à produire (nous avons déjà les données).

■ C’est une comparaison différente car la quantité d’apprentissage n’est pas

forcément liée à la force des étudiants à l’entrée.

■ Le contexte du Québec, avec son ordre collégial combiné à ses épreuves

ministérielles, est unique au monde pour faire ça.

■ L’apprentissage à long terme n’est-il pas justement la visée de notre système

d’éducation?


Évaluation de compétence pragmatique?

■ Actuellement, on consacre beaucoup d’énergie à définir et évaluer les compétences

en cours de route et c’est bien.

■ Je propose de considérer aussi cette définition pragmatique possible de la

compétence: c’est ce qu’on réussit à faire à long terme avec ce qu’on a appris. Par

exemple, un médecin sera finalement jugé compétent s’il pose généralement de

bons diagnostics durant l’ensemble de sa carrière.

■ De façon apparentée, si on a bien appris au collégial dans un programme

préuniversitaire, on devrait réussir mieux dans le programme universitaire choisi, et

cette compétence devrait transparaître dans les cotes R universitaires obtenues.


QUESTIONS?

Références

■ Bureau de coopération interuniversitaire (BCI)

http://www.bci-qc.ca/etudiants/cote-r

■ De Celles, S. et Drolet, R. (2017). Présentation sommaire de l’ajustement au calcul

de la cote de rendement au collégial. Montréal: BCI.

■ Guay, R. et Riopel, M. (2014). L’équité de la mesure du rendement des étudiants du

collégial. Montréal: BCI.







Documents

UNE CRC ÉQUITABLE PERSPECTVIVES - aqpc.qc.caaqpc.qc.ca/sites/default/files/files/colloque/publications/crc... · CRC moins élevée en formation générale qu’en formation spécifique