37
D. Leclercq (décembre 2008) – Radiographier les concordances OMER d’un cours ou d’un curriculum Chapitre 5 de Conception et évaluation de curriculum – Editions de l’Université de Liège page 1 Université de Liège Faculté de Psychologie et des Sciences de l’Education Département Education et Formation Conception et Evaluation de Cours ou de Curriculum de Formation Chapitre 5 Nouvelle version pour 2009 Dieudonné Leclercq décembre 2008 Radiographier les Concordances O-M-E-R d’un cours ou d’un curriculum A. La triple concordance : son origine B. Les cas de non-concordance C. Déclarations et réalités D. Exemples typiques de discordances E. Les compétences : des objectifs particuliers F. Objectifs spécifiques et Objectifs transversaux G. La complémentarité des méthodes d’évaluation H. Un continuum de méthodes d’évaluation I. Les événements d’apprentissage / enseignement J. Les activités de formation : atomes et molécules K. La radiographie des « Présages » ou du Plan L. La radiographie « Processus » M. La radiographie des caractéristiques des étudiants à l’entrée (input) N. La radiographie des résultats des étudiants à la sortie (output) O. Les mesures d’impact et les régulations P. Le transfert sur le terrain et l’impact ultime Q. Les critères de qualité R. Les régulations et l’université apprenante Conclusions Références

Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 1

Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEducation

Deacutepartement Education et Formation

Conception et Evaluation de Cours ou de Curriculum de Formation

Chapitre 5 Nouvelle version pour 2009

Dieudonneacute Leclercq

deacutecembre 2008

Radiographier les Concordances O-M-E-R

drsquoun cours ou drsquoun curriculum

A La triple concordance son origine B Les cas de non-concordance C Deacuteclarations et reacutealiteacutes D Exemples typiques de discordances E Les compeacutetences des objectifs particuliers F Objectifs speacutecifiques et Objectifs transversaux G La compleacutementariteacute des meacutethodes drsquoeacutevaluation H Un continuum de meacutethodes drsquoeacutevaluation I Les eacuteveacutenements drsquoapprentissage enseignement J Les activiteacutes de formation atomes et moleacutecules K La radiographie des laquo Preacutesages raquo ou du Plan L La radiographie laquo Processus raquo M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (input) N La radiographie des reacutesultats des eacutetudiants agrave la sortie (output) O Les mesures drsquoimpact et les reacutegulations P Le transfert sur le terrain et lrsquoimpact ultime Q Les critegraveres de qualiteacute R Les reacutegulations et lrsquouniversiteacute apprenante Conclusions Reacutefeacuterences

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 2

Introduction Un praticien chercheur est un professionnel de la formation de lrsquoenseignement qui place cette fonction en premier ordre dans ses prioriteacutes Cela ne lrsquoempecircche pas de faire de la recherche mais une recherche situeacutee qui peut rarement concerner des eacutetudiants reacutepartis dans des eacutetablissements diffeacuterents et soumis agrave des laquo conditions-eacutequivalentes-sauf-une raquo bref qui peut rarement appliquer le principe expeacuterimental sacreacute laquo Toutes choses par ailleurs eacutegaleshellip raquo Les donneacutees qursquoil recueille dans ses descriptions et eacutevaluations sont cependant preacutecieuses parce qursquoelles permettent de comprendrehellippour agir Drsquoabord pour agir localement Une deacutecision drsquoinnovation ou de modification doit ecirctre baseacutee sur une compreacutehension des pheacutenomegravenes eacutetudieacutes et cette compreacutehension passe par la descriptionhellipla moins biaiseacutee possible par la deacutesirabiliteacute sociale par la reacuteduction des dissonances cognitives propre agrave la subjectiviteacute de ceux qui souhaitent que leur projet reacuteussisse Ensuite pour reacutefleacutechir globalement car depuis lrsquoavegravenement des techniques et surtout des pratiques de meacuteta-analyse les eacutetudes locales peuvent moyennant des critegraveres minima de qualiteacute ecirctre incorporeacutees dans des revues de litteacuterature tirant des conclusions transversales agrave plusieurs eacutetudes seacutepareacutees faites dans des conditions diffeacuterentes Dans un eacutetablissement une culture de lrsquoeacutevaluation1 que nous avons appeleacutee laquo Culture du sextant raquo2 aide agrave faire le point pour srsquoorienter bref agrave naviguer en pleine mer et non pas laquo agrave vue raquo en cabotage sans srsquoeacuteloigner des cocirctes Une telle culture est un puissant moyen de deacuteveloppement professionnel Drsquoabord en mettant chacun devant ses responsabiliteacuteshellipet donc son autonomie Pas de responsabiliteacute sans autonomie sans laquo liberteacute acadeacutemique raquo Mais cette autonomie jusqursquoougrave peut-elle aller Jusqursquoagrave la capaciteacute de lrsquoenseignant agrave deacutefendre son point de vue agrave argumenter et agrave convaincre et jusqursquoaux limites fixeacutees lors de deacutecisions deacutemocratiques entre personnes eacutequi-responsables3 Cette responsabiliteacute jusqursquoougrave Jusqursquoagrave la capaciteacute de lrsquoenseignant agrave concevoir reacutealiser et eacutevaluer ses actions dans un esprit drsquoimputabiliteacute crsquoest-agrave-dire avec le souci de pouvoir rendre des comptes aux eacutetudiants drsquoabord agrave lrsquoeacutetablissement ensuite agrave la socieacuteteacute enfin Nous avons deacutecrit4 les liens entre recherche innovation et deacuteveloppement professionnel dans un modegravele drsquoUniversiteacute Apprenante dans un texte appeleacute The Learning University Model (LUM) dont un des sous-titres est Its use in Piloting a HE Curriculum5 Ce modegravele recommande lrsquoeacutelaboration de Tableaux de bords comme ceux dont disposent les pilotes drsquoavion tant est grand le nombre de paramegravetres agrave geacuterer Et ce agrave des fins de communication intra-personnelle drsquoabord (le pilote doit pouvoir se parler agrave lui-mecircme prendre ses deacutecisions gracircce agrave ces tableaux de bord) interpersonnelle ensuite (avec les autres les autres pilotes drsquoautres avions les tours de controcircle etc) institutionnelle enfin (la compagnie drsquoaviation) Trop souvent les professeurs-pilotes sont condamneacutes agrave utiliser des check-lists notamment parce qursquoils nrsquoen voient pas la fin parce qursquoils nrsquoen ont pas une vue drsquoensemble avec entre autres le poids et la place de chaque question donc les prioriteacutes agrave leur donner A lrsquoinverse se priver de liste crsquoest srsquoexposer agrave des oublis qui peuvent se reacuteveacuteler funestes Ce nrsquoest pas pour rien que les pilotes les appliquent agrave TOUS les vols En eacuteducation doit-on se poser toutes les

1 Birenbaum (1996p 53) distingue la culture de laquo testing raquo de la culture drsquo laquo assessment raquo plus qualitative compreacutehensive (en latin assidere signifie laquo srsquoasseoir agrave cocircteacute de raquo 2 (Leclercq 2005 Introduction p 11) 3 Tous nrsquoont pas les mecircmes responsabiliteacutes (les eacutetudiants par exemple nrsquoont pas les mecircmes que les enseignants) 4 (Leclercq Dupont amp Poumay 2007) 5 Son utilisation dans le pilotage drsquoun cur riculum drsquoEnseignement supeacuterieur (Higher Rducation)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 3

questions agrave tous les coups Heureusement non car un enseignant peut routiniser pour un temps donneacute certains aspects de ses deacutemarches qui donnent (provisoirement) satisfaction pour se consacrer plus intenseacutement agrave ce qui est innovant donc risqueacute6 Le preacutesent texte vise agrave doter les pilotes drsquoenseignement supeacuterieur de tels tableaux de bord afin de geacuterer la complexiteacute parce que nous pensons qursquoelle existe et qursquoil est souhaitable et possible de la geacuterer Traiter un problegraveme complexe comme srsquoil eacutetait simple peut faire illusion Mais aupregraves de

qui Et pour combien de temps Ces tableaux de bord doivent aider agrave reacuteguler les projets de formation en en assumant le caractegravere systeacutemique touchez agrave un eacuteleacutement et vous provoquez des changements dans les autres Crsquoest agrave nos yeux le principal atout de cette laquo Radiographie des concordances drsquoun cours raquo (qui pourrait ecirctre eacutetendue agrave un curriculum) permettre une vue drsquoensemble montrant les interrelations entre les divers eacuteleacutements ce que mecircme un tableau de bord du cockpit drsquoun avion ne montre pas Ce qui permet la laquo simulation virtuelle raquo imaginer les impacts sur les autres eacuteleacutements Sans entrer dans les deacutetails (drsquoougrave la miniaturisation de la radiographie du cours ci-apregraves) on peut voir qursquoagrave cocircteacute des eacuteleacutements (entoureacutes 2 Objectifs en verticales une Meacutethode et une Evaluation en horizontales) auxquels on srsquoattachera de faccedilon innovante cette anneacutee on laisse drsquoautres inchangeacutes par rapport agrave lrsquoanneacutee preacuteceacutedente Cette radiographie des concordances est baseacutee sur le principe que crsquoest lrsquoenseignant du cours (ou le groupe de promoteurs du projet) lui-mecircme qui est le mieux placeacute pour construire et lire cette radiographie contrairement agrave de nombreuses approches de lrsquoeacutevaluation de curriculum recourant agrave des eacutevaluateurs externes (Nadeau 1988) Nous illustrerons plusieurs aspects de telles radiographies des concordances en renvoyant systeacutematiquement le lecteur agrave drsquoautres sources pour entrer dans les deacutetails notamment sur le concept de laquo qualiteacute raquo baseacute sur des deacuteveloppements qui deacutepassent en volume lrsquoambition de ce texte 6 Rappelons ici la phrase de Ceacutelestin Freinet (1967 p 78) laquo Ne vous lacircchez jamais des mains avant de toucher des pieds raquo

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacute

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et

avec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur

le w

eb

Imag

e q

uil

se fa

it de

le

nsei

gnem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dan

s la

per

tine

nce

de s

es r

eacutepo

nse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en

ligne

(su

r W

ebC

T)

C

onna

icirct de

s pr

inci

pes

et f

aits

sur

lad

oles

cenc

e

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 4

A La Triple Concordance son origine En 1949 Ralph Tyler publie le livre laquo Basic Principles of Curriculum and Instruction raquo dont la structure des chapitres fait deacutejagrave apparaicirctre les quatre composantes les plus connues drsquoun curriculum les Objectifs les Meacutethodes les Evaluations et les Contenus Cette liste sera reprise dans les deacutefinitions ulteacuterieures (la plus connue eacutetant Taba 1962) notamment dans la partie de la deacutefinition de G de Landsheere (1979 p 65) que nous avons souligneacutee

laquo Un curriculum est un ensemble drsquoactions planifieacutees pour susciter lrsquoinstruction il comprend la deacutefinition des objectifs de lrsquoenseignement les contenus les meacutethodes (y compris lrsquoeacutevaluation) les mateacuteriels (y compris les manuels scolaires) et les dispositions relatives agrave la formation adeacutequate des enseignants raquo

Faut-il lire dans laquo planifieacutees raquo le sens de laquo concordance raquo Peut-ecirctre Tyler dans son livre argumente en faveur drsquoeacutevaluations qui permettent de situer les reacutesultats par rapport aux objectifs Cette approche sera appeleacutee laquo criteacuterielle raquo par Robert Glaser (1963) Tyler plaide aussi en faveur drsquoobjectifs reacutedigeacutes de maniegravere agrave inspirer les meacutethodes de formation Quant aux liens entre Meacutethodes de Formation et Evaluation des Apprentissages Tyler deacutecrit comme suit (p 124) ce qui plus tard sera appeleacute test driven curriculum7

laquo Lrsquoeacutevaluation a une puissante influence sur lrsquoapprentissageles eacutetudiants sont influenceacutes dans leur eacutetude par le genre drsquoeacutevaluation qui surviendra et mecircme les enseignants sont influenceacutes par les accents qursquoils mettent (sur certains points de la matiegravere)raquo Pour illustrer ce dernier point signalons une expeacuterience (Leclercq et al 2003) ougrave nous avions inviteacute les eacutetudiants eux-mecircmes par (30) groupes de 5 agrave donner un cours de 2deg Bac chaque groupe preacuteparant (avec lrsquoaide de lrsquoenseignant) une laquo portion raquo de la matiegravere devant tenir en 20 minutes drsquoanimation et 10 minutes de discussion Nous avons appeleacute cette meacutethode laquoProjets drsquoAnimations Reacuteciproques Multimeacutedias - PARM raquo (Jans et al 1998) Les reacutesultats agrave lrsquoexamen ont eacuteteacute leacutegegraverement moins bons que les autres anneacutees Plusieurs explications ont eacuteteacute eacutechafaudeacutees pour expliquer cette baisse Celle qui flatte le plus lrsquoego du professeur est laquo En moyenne le professeur explique mieux la matiegravere que les eacutetudiants raquo Sans exclure cette hypothegravese (ne soyons pas masochiste) on ne peut srsquoempecirccher drsquoen faire une autre laquo Le professeur a une meilleure ideacutee des questions drsquoexamen qursquoil pose drsquohabitude et au moment drsquoenseigner il insiste drsquoune faccedilon plus importante sur ces matiegraveres drsquoexamen (quand il ne les annonce pas comme telles ) raquo8

En traitant de lrsquoimportance de deacutefinir les objectifs avant les meacutethodes de formation et drsquoeacutevaluation et de rapporter ceux-ci aux objectifs Tyler met en avant sans le nommer ainsi ce que nous avons appeleacute (Leclercq 1995) la Triple concordance ou Triple Consistency (Koverkaite et Leclercq 2006)9 Malgreacute le nombre drsquoanneacutees depuis lequel il est reacutepeacuteteacute ce principe est probablement le moins satisfait dans la pratique peacutedagogique Ce nrsquoest pas un hasard mecircme srsquoil est facile agrave comprendre il est difficile agrave mettre en œuvre pour chacun drsquoentre nous surtout quand les objectifs sont ambitieux en termes de compeacutetences Crsquoest en outre un processus continuel car les objectifs les contenus les meacutethodes les eacutevaluations les eacutetudiants ethelliple professeur (ou les encadrants) changent

7 Curriculum inspireacute par le test

8 Voir en section R les effets laquo de reflux raquo 9 En anglais le terme consacreacute est laquo alignment raquo (ex Anderson amp Krathwohl 2001 p 9)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 5

B Les cas de non-concordance

Pour parler du principe de la triple concordance on dessine souvent un triangle comme ci-dessous ougrave les trois traits illustrent la Triple Concordance entre UN objectif UNE Meacutethode et UNE eacutevaluation Degraves que plusieurs objectifs ou plusieurs meacutethodes (de formation) ou plusieurs meacutethodes drsquoeacutevaluation doivent ecirctre pris en compte nous proposons de repreacutesenter les Triples Concordances par les connexions entre les Meacutethodes et les Evaluations via les Objectifs ces derniers opeacuterant comme un laquo sucre raquo (ou connecteur) en eacutelectriciteacute au centre avec agrave gauche les meacutethodes de formation (repreacutesenteacutees par des ovales) et agrave droite les eacutevaluations (rectangles) Une telle repreacutesentation scheacutematique ou graphique est baseacutee sur les principes suivants 1 Les relations de concordance sont repreacutesenteacutees par des liens des fils 2 Les non concordances ne sont pas repreacutesenteacutees et doivent se deacuteduire du scheacutema (par les NON connexions ou des connexions agrave mettre en cause) Il peut aussi ecirctre utile de se doter drsquoun symbolisme pour communiquer agrave propos des concordances et discordances Nous proposons de le faire selon les principes et les codes suivants

-la concordance est repreacutesenteacutee par le symbole du tilde espagnol (~) -la non concordance est repreacutesenteacutee par le signe ne -lrsquoabsence drsquoeacuteleacutement concordant est repreacutesenteacute par le signe suivi du terme () -la concordance mise en cause est repreacutesenteacutee par le mecircme signe suivi drsquoun terme (ex XO4)

Nous postulons que les concordances entre les Meacutethodes (M) et les Evaluations (E) se font par transitiviteacute agrave travers les Objectifs (O) autrement dit si O~M et si O~E alors M~E Il se pourrait que notre postulat soit deacutementi par des exemples concrets Nous cherchons agrave obtenir des expressions agrave 3 termes du type M~O~E

O6

A

B

C

X

Y

Z

Meacutethodes Objectifs Evaluations

O5

O4

O3

O2

O1

OBJECTIF

METHODE EVALUATION

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 6

Lrsquoexemple fictif ci-dessus repreacutesente un cours ougrave les (4) objectifs choisis par lrsquoenseignant sont encadreacutes drsquoun bord tregraves noir (ici O1O3O5 et O6) parmi une seacuterie drsquoobjectifs possibles ici 6 au total dont deux non-choisis (ici O2 et O4) Lrsquoobjectif O5 (qui est un des objectifs viseacutes dans ce cours) est entraicircneacute par une Meacutethode de formation (X) et eacutevalueacute par 2 meacutethodes drsquoEvaluation (A et B) Ceci peut ecirctre pertinent car un principe deacutejagrave mentionneacute par Tyler (194967) est que laquo la mecircme expeacuterience drsquoapprentissage peut souvent produire des effets multiples raquo

Nous notons X~O5~(A+B) On constatera que nous mettons les meacutethodes agrave gauche les objectifs au centre et les eacutevaluations agrave droite La meacutethode X est concordante en principe avec deux objectifs (O6 et O5) Nous disons laquo en principe raquo parce qursquoil se pourrait que contrairement aux attentes une mecircme meacutethode ait des effets positifs sur un objectif et neacutegatifs sur un autre Tyler (194968) illustre cette situation agrave propos drsquoun objectif cognitif et drsquoun autre affectif laquo lrsquoeffort du professeur agrave deacutevelopper la capaciteacute de reacuteciter les piegraveces de Shakespeare peut ecirctre pousseacute agrave un tel point qursquoil deacuteveloppe en mecircme temps une forte reacutepulsion pour Shakespeare raquo Ce qui nous amegravene agrave ecirctre attentifs agrave consideacuterer aussi les effets non attendus neacutegatifs (pervers) ou positifs (heureuses surprises) quel que soit le niveau10 auquel ils srsquoobservent Les meacutethodes X et Z entraicircnent agrave atteindre un mecircme objectif (choisi par lrsquoenseignant) O6

mais celui-ci nrsquoest pas eacutevalueacute Nous notons (X +Z)~O6 ou plus simplement O6 Le code signale un problegraveme ci-dessus lrsquoabsence de terme de concordance Le problegraveme

peut ecirctre aussi la remise en question drsquoune concordance annonceacutee (donc on ne sait pas encore si on est dans la situation ~ ou la situation ne Ainsi la meacutethode X entraicircne aussi lrsquoobjectif O4 non poursuivi par lrsquoenseignant Nous utilisons aussi le code laquo raquo dans ces cas Donc XO4 (Idem YO2)

Lrsquoobjectif O1 (choisi) est eacutevalueacute (par la meacutethode C) mais nrsquoest pas entraicircneacute

Nous notons O1~C Cette situation contredit un principe classique de lrsquoeacuteducation laquo On nrsquoeacutevalue que ce qui a eacuteteacute

entraicircneacute par le cours raquo comme le rappelle Tardif (2006 p 112) laquo Lrsquoeacutethique en matiegravere drsquoeacutevaluation des compeacutetences comme des apprentissages en geacuteneacuteral impose que lrsquoon nrsquoeacutevalue que ce qui a fait lrsquoobjet drsquoapprentissage sous la gouverne des enseignants raquo

Dans leur deacutefinition de compeacutetence Beckers Poumay et Leclercq (2007) choisissent comme eacutevaluation une performance laquo non entraicircneacutee agrave lrsquoidentique raquo (donc entraicircneacutee )

Lrsquoobjectif O3 pourtant retenu (choisi par les objectifs viseacutes) nrsquoest ni entraicircneacute ni eacutevalueacute O3 La meacutethode drsquoeacutevaluation B porte sur deux objectifs (O4 et O5) agrave la fois Par exemple un

test au cours duquel les eacutetudiants doivent pour chaque reacuteponse ajouter un degreacute de certitude (Leclercq 1982 1993 2003) permet de mesurer agrave la fois un aspect de la cognition et un aspect (le jugement) de la meacutetacognition (Leclercq et Poumay 2005)

Dans lrsquoexemple fictif qui nous occupait lrsquoobjectif O4 (imaginons par exemple laquo la capaciteacute agrave reacutesister au stress raquo) nrsquoavait pas eacuteteacute choisi par lrsquoenseignant Or la meacutethode drsquoeacutevaluation B

10 En termes de la classification de Kirkpatrick par exemple (voir section N ci-apregraves)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 7

porte (mecircme contre la volonteacute de lrsquoenseignant) sur cet objectif par exemple si le test est en temps tregraves limiteacute ou srsquoil srsquoagit drsquoun concours et non drsquoun examen

Un bilan des concordances traitera des objectifs choisis et des solutions agrave apporter aux non-

concordances eacuteventuelles Objectifs choisis solutions agrave apporter aux non-concordances eacuteventuelles

O1 ~C Entraicircner O1 parhellipou renoncer agrave O1 et ne plus lrsquoeacutevaluer O3 - Entraicircner et eacutevaluer O3 ou renoncer agrave O3 X~O5~A

X+Z ~O6 Evaluer O6 ou renoncer agrave O6 Puis des anomalies

Objectifs non choisis solutions agrave apporter aux non-concordances eacuteventuelles YO2 Reconnaicirctre O2 parmi les objectifs et donc lrsquoeacutevaluer

XO4B Reconnaicirctre O4 (preacuteserver du stress) comme objectif agrave poursuivre

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 2: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 2

Introduction Un praticien chercheur est un professionnel de la formation de lrsquoenseignement qui place cette fonction en premier ordre dans ses prioriteacutes Cela ne lrsquoempecircche pas de faire de la recherche mais une recherche situeacutee qui peut rarement concerner des eacutetudiants reacutepartis dans des eacutetablissements diffeacuterents et soumis agrave des laquo conditions-eacutequivalentes-sauf-une raquo bref qui peut rarement appliquer le principe expeacuterimental sacreacute laquo Toutes choses par ailleurs eacutegaleshellip raquo Les donneacutees qursquoil recueille dans ses descriptions et eacutevaluations sont cependant preacutecieuses parce qursquoelles permettent de comprendrehellippour agir Drsquoabord pour agir localement Une deacutecision drsquoinnovation ou de modification doit ecirctre baseacutee sur une compreacutehension des pheacutenomegravenes eacutetudieacutes et cette compreacutehension passe par la descriptionhellipla moins biaiseacutee possible par la deacutesirabiliteacute sociale par la reacuteduction des dissonances cognitives propre agrave la subjectiviteacute de ceux qui souhaitent que leur projet reacuteussisse Ensuite pour reacutefleacutechir globalement car depuis lrsquoavegravenement des techniques et surtout des pratiques de meacuteta-analyse les eacutetudes locales peuvent moyennant des critegraveres minima de qualiteacute ecirctre incorporeacutees dans des revues de litteacuterature tirant des conclusions transversales agrave plusieurs eacutetudes seacutepareacutees faites dans des conditions diffeacuterentes Dans un eacutetablissement une culture de lrsquoeacutevaluation1 que nous avons appeleacutee laquo Culture du sextant raquo2 aide agrave faire le point pour srsquoorienter bref agrave naviguer en pleine mer et non pas laquo agrave vue raquo en cabotage sans srsquoeacuteloigner des cocirctes Une telle culture est un puissant moyen de deacuteveloppement professionnel Drsquoabord en mettant chacun devant ses responsabiliteacuteshellipet donc son autonomie Pas de responsabiliteacute sans autonomie sans laquo liberteacute acadeacutemique raquo Mais cette autonomie jusqursquoougrave peut-elle aller Jusqursquoagrave la capaciteacute de lrsquoenseignant agrave deacutefendre son point de vue agrave argumenter et agrave convaincre et jusqursquoaux limites fixeacutees lors de deacutecisions deacutemocratiques entre personnes eacutequi-responsables3 Cette responsabiliteacute jusqursquoougrave Jusqursquoagrave la capaciteacute de lrsquoenseignant agrave concevoir reacutealiser et eacutevaluer ses actions dans un esprit drsquoimputabiliteacute crsquoest-agrave-dire avec le souci de pouvoir rendre des comptes aux eacutetudiants drsquoabord agrave lrsquoeacutetablissement ensuite agrave la socieacuteteacute enfin Nous avons deacutecrit4 les liens entre recherche innovation et deacuteveloppement professionnel dans un modegravele drsquoUniversiteacute Apprenante dans un texte appeleacute The Learning University Model (LUM) dont un des sous-titres est Its use in Piloting a HE Curriculum5 Ce modegravele recommande lrsquoeacutelaboration de Tableaux de bords comme ceux dont disposent les pilotes drsquoavion tant est grand le nombre de paramegravetres agrave geacuterer Et ce agrave des fins de communication intra-personnelle drsquoabord (le pilote doit pouvoir se parler agrave lui-mecircme prendre ses deacutecisions gracircce agrave ces tableaux de bord) interpersonnelle ensuite (avec les autres les autres pilotes drsquoautres avions les tours de controcircle etc) institutionnelle enfin (la compagnie drsquoaviation) Trop souvent les professeurs-pilotes sont condamneacutes agrave utiliser des check-lists notamment parce qursquoils nrsquoen voient pas la fin parce qursquoils nrsquoen ont pas une vue drsquoensemble avec entre autres le poids et la place de chaque question donc les prioriteacutes agrave leur donner A lrsquoinverse se priver de liste crsquoest srsquoexposer agrave des oublis qui peuvent se reacuteveacuteler funestes Ce nrsquoest pas pour rien que les pilotes les appliquent agrave TOUS les vols En eacuteducation doit-on se poser toutes les

1 Birenbaum (1996p 53) distingue la culture de laquo testing raquo de la culture drsquo laquo assessment raquo plus qualitative compreacutehensive (en latin assidere signifie laquo srsquoasseoir agrave cocircteacute de raquo 2 (Leclercq 2005 Introduction p 11) 3 Tous nrsquoont pas les mecircmes responsabiliteacutes (les eacutetudiants par exemple nrsquoont pas les mecircmes que les enseignants) 4 (Leclercq Dupont amp Poumay 2007) 5 Son utilisation dans le pilotage drsquoun cur riculum drsquoEnseignement supeacuterieur (Higher Rducation)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 3

questions agrave tous les coups Heureusement non car un enseignant peut routiniser pour un temps donneacute certains aspects de ses deacutemarches qui donnent (provisoirement) satisfaction pour se consacrer plus intenseacutement agrave ce qui est innovant donc risqueacute6 Le preacutesent texte vise agrave doter les pilotes drsquoenseignement supeacuterieur de tels tableaux de bord afin de geacuterer la complexiteacute parce que nous pensons qursquoelle existe et qursquoil est souhaitable et possible de la geacuterer Traiter un problegraveme complexe comme srsquoil eacutetait simple peut faire illusion Mais aupregraves de

qui Et pour combien de temps Ces tableaux de bord doivent aider agrave reacuteguler les projets de formation en en assumant le caractegravere systeacutemique touchez agrave un eacuteleacutement et vous provoquez des changements dans les autres Crsquoest agrave nos yeux le principal atout de cette laquo Radiographie des concordances drsquoun cours raquo (qui pourrait ecirctre eacutetendue agrave un curriculum) permettre une vue drsquoensemble montrant les interrelations entre les divers eacuteleacutements ce que mecircme un tableau de bord du cockpit drsquoun avion ne montre pas Ce qui permet la laquo simulation virtuelle raquo imaginer les impacts sur les autres eacuteleacutements Sans entrer dans les deacutetails (drsquoougrave la miniaturisation de la radiographie du cours ci-apregraves) on peut voir qursquoagrave cocircteacute des eacuteleacutements (entoureacutes 2 Objectifs en verticales une Meacutethode et une Evaluation en horizontales) auxquels on srsquoattachera de faccedilon innovante cette anneacutee on laisse drsquoautres inchangeacutes par rapport agrave lrsquoanneacutee preacuteceacutedente Cette radiographie des concordances est baseacutee sur le principe que crsquoest lrsquoenseignant du cours (ou le groupe de promoteurs du projet) lui-mecircme qui est le mieux placeacute pour construire et lire cette radiographie contrairement agrave de nombreuses approches de lrsquoeacutevaluation de curriculum recourant agrave des eacutevaluateurs externes (Nadeau 1988) Nous illustrerons plusieurs aspects de telles radiographies des concordances en renvoyant systeacutematiquement le lecteur agrave drsquoautres sources pour entrer dans les deacutetails notamment sur le concept de laquo qualiteacute raquo baseacute sur des deacuteveloppements qui deacutepassent en volume lrsquoambition de ce texte 6 Rappelons ici la phrase de Ceacutelestin Freinet (1967 p 78) laquo Ne vous lacircchez jamais des mains avant de toucher des pieds raquo

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacute

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et

avec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur

le w

eb

Imag

e q

uil

se fa

it de

le

nsei

gnem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dan

s la

per

tine

nce

de s

es r

eacutepo

nse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en

ligne

(su

r W

ebC

T)

C

onna

icirct de

s pr

inci

pes

et f

aits

sur

lad

oles

cenc

e

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 4

A La Triple Concordance son origine En 1949 Ralph Tyler publie le livre laquo Basic Principles of Curriculum and Instruction raquo dont la structure des chapitres fait deacutejagrave apparaicirctre les quatre composantes les plus connues drsquoun curriculum les Objectifs les Meacutethodes les Evaluations et les Contenus Cette liste sera reprise dans les deacutefinitions ulteacuterieures (la plus connue eacutetant Taba 1962) notamment dans la partie de la deacutefinition de G de Landsheere (1979 p 65) que nous avons souligneacutee

laquo Un curriculum est un ensemble drsquoactions planifieacutees pour susciter lrsquoinstruction il comprend la deacutefinition des objectifs de lrsquoenseignement les contenus les meacutethodes (y compris lrsquoeacutevaluation) les mateacuteriels (y compris les manuels scolaires) et les dispositions relatives agrave la formation adeacutequate des enseignants raquo

Faut-il lire dans laquo planifieacutees raquo le sens de laquo concordance raquo Peut-ecirctre Tyler dans son livre argumente en faveur drsquoeacutevaluations qui permettent de situer les reacutesultats par rapport aux objectifs Cette approche sera appeleacutee laquo criteacuterielle raquo par Robert Glaser (1963) Tyler plaide aussi en faveur drsquoobjectifs reacutedigeacutes de maniegravere agrave inspirer les meacutethodes de formation Quant aux liens entre Meacutethodes de Formation et Evaluation des Apprentissages Tyler deacutecrit comme suit (p 124) ce qui plus tard sera appeleacute test driven curriculum7

laquo Lrsquoeacutevaluation a une puissante influence sur lrsquoapprentissageles eacutetudiants sont influenceacutes dans leur eacutetude par le genre drsquoeacutevaluation qui surviendra et mecircme les enseignants sont influenceacutes par les accents qursquoils mettent (sur certains points de la matiegravere)raquo Pour illustrer ce dernier point signalons une expeacuterience (Leclercq et al 2003) ougrave nous avions inviteacute les eacutetudiants eux-mecircmes par (30) groupes de 5 agrave donner un cours de 2deg Bac chaque groupe preacuteparant (avec lrsquoaide de lrsquoenseignant) une laquo portion raquo de la matiegravere devant tenir en 20 minutes drsquoanimation et 10 minutes de discussion Nous avons appeleacute cette meacutethode laquoProjets drsquoAnimations Reacuteciproques Multimeacutedias - PARM raquo (Jans et al 1998) Les reacutesultats agrave lrsquoexamen ont eacuteteacute leacutegegraverement moins bons que les autres anneacutees Plusieurs explications ont eacuteteacute eacutechafaudeacutees pour expliquer cette baisse Celle qui flatte le plus lrsquoego du professeur est laquo En moyenne le professeur explique mieux la matiegravere que les eacutetudiants raquo Sans exclure cette hypothegravese (ne soyons pas masochiste) on ne peut srsquoempecirccher drsquoen faire une autre laquo Le professeur a une meilleure ideacutee des questions drsquoexamen qursquoil pose drsquohabitude et au moment drsquoenseigner il insiste drsquoune faccedilon plus importante sur ces matiegraveres drsquoexamen (quand il ne les annonce pas comme telles ) raquo8

En traitant de lrsquoimportance de deacutefinir les objectifs avant les meacutethodes de formation et drsquoeacutevaluation et de rapporter ceux-ci aux objectifs Tyler met en avant sans le nommer ainsi ce que nous avons appeleacute (Leclercq 1995) la Triple concordance ou Triple Consistency (Koverkaite et Leclercq 2006)9 Malgreacute le nombre drsquoanneacutees depuis lequel il est reacutepeacuteteacute ce principe est probablement le moins satisfait dans la pratique peacutedagogique Ce nrsquoest pas un hasard mecircme srsquoil est facile agrave comprendre il est difficile agrave mettre en œuvre pour chacun drsquoentre nous surtout quand les objectifs sont ambitieux en termes de compeacutetences Crsquoest en outre un processus continuel car les objectifs les contenus les meacutethodes les eacutevaluations les eacutetudiants ethelliple professeur (ou les encadrants) changent

7 Curriculum inspireacute par le test

8 Voir en section R les effets laquo de reflux raquo 9 En anglais le terme consacreacute est laquo alignment raquo (ex Anderson amp Krathwohl 2001 p 9)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 5

B Les cas de non-concordance

Pour parler du principe de la triple concordance on dessine souvent un triangle comme ci-dessous ougrave les trois traits illustrent la Triple Concordance entre UN objectif UNE Meacutethode et UNE eacutevaluation Degraves que plusieurs objectifs ou plusieurs meacutethodes (de formation) ou plusieurs meacutethodes drsquoeacutevaluation doivent ecirctre pris en compte nous proposons de repreacutesenter les Triples Concordances par les connexions entre les Meacutethodes et les Evaluations via les Objectifs ces derniers opeacuterant comme un laquo sucre raquo (ou connecteur) en eacutelectriciteacute au centre avec agrave gauche les meacutethodes de formation (repreacutesenteacutees par des ovales) et agrave droite les eacutevaluations (rectangles) Une telle repreacutesentation scheacutematique ou graphique est baseacutee sur les principes suivants 1 Les relations de concordance sont repreacutesenteacutees par des liens des fils 2 Les non concordances ne sont pas repreacutesenteacutees et doivent se deacuteduire du scheacutema (par les NON connexions ou des connexions agrave mettre en cause) Il peut aussi ecirctre utile de se doter drsquoun symbolisme pour communiquer agrave propos des concordances et discordances Nous proposons de le faire selon les principes et les codes suivants

-la concordance est repreacutesenteacutee par le symbole du tilde espagnol (~) -la non concordance est repreacutesenteacutee par le signe ne -lrsquoabsence drsquoeacuteleacutement concordant est repreacutesenteacute par le signe suivi du terme () -la concordance mise en cause est repreacutesenteacutee par le mecircme signe suivi drsquoun terme (ex XO4)

Nous postulons que les concordances entre les Meacutethodes (M) et les Evaluations (E) se font par transitiviteacute agrave travers les Objectifs (O) autrement dit si O~M et si O~E alors M~E Il se pourrait que notre postulat soit deacutementi par des exemples concrets Nous cherchons agrave obtenir des expressions agrave 3 termes du type M~O~E

O6

A

B

C

X

Y

Z

Meacutethodes Objectifs Evaluations

O5

O4

O3

O2

O1

OBJECTIF

METHODE EVALUATION

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 6

Lrsquoexemple fictif ci-dessus repreacutesente un cours ougrave les (4) objectifs choisis par lrsquoenseignant sont encadreacutes drsquoun bord tregraves noir (ici O1O3O5 et O6) parmi une seacuterie drsquoobjectifs possibles ici 6 au total dont deux non-choisis (ici O2 et O4) Lrsquoobjectif O5 (qui est un des objectifs viseacutes dans ce cours) est entraicircneacute par une Meacutethode de formation (X) et eacutevalueacute par 2 meacutethodes drsquoEvaluation (A et B) Ceci peut ecirctre pertinent car un principe deacutejagrave mentionneacute par Tyler (194967) est que laquo la mecircme expeacuterience drsquoapprentissage peut souvent produire des effets multiples raquo

Nous notons X~O5~(A+B) On constatera que nous mettons les meacutethodes agrave gauche les objectifs au centre et les eacutevaluations agrave droite La meacutethode X est concordante en principe avec deux objectifs (O6 et O5) Nous disons laquo en principe raquo parce qursquoil se pourrait que contrairement aux attentes une mecircme meacutethode ait des effets positifs sur un objectif et neacutegatifs sur un autre Tyler (194968) illustre cette situation agrave propos drsquoun objectif cognitif et drsquoun autre affectif laquo lrsquoeffort du professeur agrave deacutevelopper la capaciteacute de reacuteciter les piegraveces de Shakespeare peut ecirctre pousseacute agrave un tel point qursquoil deacuteveloppe en mecircme temps une forte reacutepulsion pour Shakespeare raquo Ce qui nous amegravene agrave ecirctre attentifs agrave consideacuterer aussi les effets non attendus neacutegatifs (pervers) ou positifs (heureuses surprises) quel que soit le niveau10 auquel ils srsquoobservent Les meacutethodes X et Z entraicircnent agrave atteindre un mecircme objectif (choisi par lrsquoenseignant) O6

mais celui-ci nrsquoest pas eacutevalueacute Nous notons (X +Z)~O6 ou plus simplement O6 Le code signale un problegraveme ci-dessus lrsquoabsence de terme de concordance Le problegraveme

peut ecirctre aussi la remise en question drsquoune concordance annonceacutee (donc on ne sait pas encore si on est dans la situation ~ ou la situation ne Ainsi la meacutethode X entraicircne aussi lrsquoobjectif O4 non poursuivi par lrsquoenseignant Nous utilisons aussi le code laquo raquo dans ces cas Donc XO4 (Idem YO2)

Lrsquoobjectif O1 (choisi) est eacutevalueacute (par la meacutethode C) mais nrsquoest pas entraicircneacute

Nous notons O1~C Cette situation contredit un principe classique de lrsquoeacuteducation laquo On nrsquoeacutevalue que ce qui a eacuteteacute

entraicircneacute par le cours raquo comme le rappelle Tardif (2006 p 112) laquo Lrsquoeacutethique en matiegravere drsquoeacutevaluation des compeacutetences comme des apprentissages en geacuteneacuteral impose que lrsquoon nrsquoeacutevalue que ce qui a fait lrsquoobjet drsquoapprentissage sous la gouverne des enseignants raquo

Dans leur deacutefinition de compeacutetence Beckers Poumay et Leclercq (2007) choisissent comme eacutevaluation une performance laquo non entraicircneacutee agrave lrsquoidentique raquo (donc entraicircneacutee )

Lrsquoobjectif O3 pourtant retenu (choisi par les objectifs viseacutes) nrsquoest ni entraicircneacute ni eacutevalueacute O3 La meacutethode drsquoeacutevaluation B porte sur deux objectifs (O4 et O5) agrave la fois Par exemple un

test au cours duquel les eacutetudiants doivent pour chaque reacuteponse ajouter un degreacute de certitude (Leclercq 1982 1993 2003) permet de mesurer agrave la fois un aspect de la cognition et un aspect (le jugement) de la meacutetacognition (Leclercq et Poumay 2005)

Dans lrsquoexemple fictif qui nous occupait lrsquoobjectif O4 (imaginons par exemple laquo la capaciteacute agrave reacutesister au stress raquo) nrsquoavait pas eacuteteacute choisi par lrsquoenseignant Or la meacutethode drsquoeacutevaluation B

10 En termes de la classification de Kirkpatrick par exemple (voir section N ci-apregraves)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 7

porte (mecircme contre la volonteacute de lrsquoenseignant) sur cet objectif par exemple si le test est en temps tregraves limiteacute ou srsquoil srsquoagit drsquoun concours et non drsquoun examen

Un bilan des concordances traitera des objectifs choisis et des solutions agrave apporter aux non-

concordances eacuteventuelles Objectifs choisis solutions agrave apporter aux non-concordances eacuteventuelles

O1 ~C Entraicircner O1 parhellipou renoncer agrave O1 et ne plus lrsquoeacutevaluer O3 - Entraicircner et eacutevaluer O3 ou renoncer agrave O3 X~O5~A

X+Z ~O6 Evaluer O6 ou renoncer agrave O6 Puis des anomalies

Objectifs non choisis solutions agrave apporter aux non-concordances eacuteventuelles YO2 Reconnaicirctre O2 parmi les objectifs et donc lrsquoeacutevaluer

XO4B Reconnaicirctre O4 (preacuteserver du stress) comme objectif agrave poursuivre

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 3: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 3

questions agrave tous les coups Heureusement non car un enseignant peut routiniser pour un temps donneacute certains aspects de ses deacutemarches qui donnent (provisoirement) satisfaction pour se consacrer plus intenseacutement agrave ce qui est innovant donc risqueacute6 Le preacutesent texte vise agrave doter les pilotes drsquoenseignement supeacuterieur de tels tableaux de bord afin de geacuterer la complexiteacute parce que nous pensons qursquoelle existe et qursquoil est souhaitable et possible de la geacuterer Traiter un problegraveme complexe comme srsquoil eacutetait simple peut faire illusion Mais aupregraves de

qui Et pour combien de temps Ces tableaux de bord doivent aider agrave reacuteguler les projets de formation en en assumant le caractegravere systeacutemique touchez agrave un eacuteleacutement et vous provoquez des changements dans les autres Crsquoest agrave nos yeux le principal atout de cette laquo Radiographie des concordances drsquoun cours raquo (qui pourrait ecirctre eacutetendue agrave un curriculum) permettre une vue drsquoensemble montrant les interrelations entre les divers eacuteleacutements ce que mecircme un tableau de bord du cockpit drsquoun avion ne montre pas Ce qui permet la laquo simulation virtuelle raquo imaginer les impacts sur les autres eacuteleacutements Sans entrer dans les deacutetails (drsquoougrave la miniaturisation de la radiographie du cours ci-apregraves) on peut voir qursquoagrave cocircteacute des eacuteleacutements (entoureacutes 2 Objectifs en verticales une Meacutethode et une Evaluation en horizontales) auxquels on srsquoattachera de faccedilon innovante cette anneacutee on laisse drsquoautres inchangeacutes par rapport agrave lrsquoanneacutee preacuteceacutedente Cette radiographie des concordances est baseacutee sur le principe que crsquoest lrsquoenseignant du cours (ou le groupe de promoteurs du projet) lui-mecircme qui est le mieux placeacute pour construire et lire cette radiographie contrairement agrave de nombreuses approches de lrsquoeacutevaluation de curriculum recourant agrave des eacutevaluateurs externes (Nadeau 1988) Nous illustrerons plusieurs aspects de telles radiographies des concordances en renvoyant systeacutematiquement le lecteur agrave drsquoautres sources pour entrer dans les deacutetails notamment sur le concept de laquo qualiteacute raquo baseacute sur des deacuteveloppements qui deacutepassent en volume lrsquoambition de ce texte 6 Rappelons ici la phrase de Ceacutelestin Freinet (1967 p 78) laquo Ne vous lacircchez jamais des mains avant de toucher des pieds raquo

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacute

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et

avec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur

le w

eb

Imag

e q

uil

se fa

it de

le

nsei

gnem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dan

s la

per

tine

nce

de s

es r

eacutepo

nse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en

ligne

(su

r W

ebC

T)

C

onna

icirct de

s pr

inci

pes

et f

aits

sur

lad

oles

cenc

e

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 4

A La Triple Concordance son origine En 1949 Ralph Tyler publie le livre laquo Basic Principles of Curriculum and Instruction raquo dont la structure des chapitres fait deacutejagrave apparaicirctre les quatre composantes les plus connues drsquoun curriculum les Objectifs les Meacutethodes les Evaluations et les Contenus Cette liste sera reprise dans les deacutefinitions ulteacuterieures (la plus connue eacutetant Taba 1962) notamment dans la partie de la deacutefinition de G de Landsheere (1979 p 65) que nous avons souligneacutee

laquo Un curriculum est un ensemble drsquoactions planifieacutees pour susciter lrsquoinstruction il comprend la deacutefinition des objectifs de lrsquoenseignement les contenus les meacutethodes (y compris lrsquoeacutevaluation) les mateacuteriels (y compris les manuels scolaires) et les dispositions relatives agrave la formation adeacutequate des enseignants raquo

Faut-il lire dans laquo planifieacutees raquo le sens de laquo concordance raquo Peut-ecirctre Tyler dans son livre argumente en faveur drsquoeacutevaluations qui permettent de situer les reacutesultats par rapport aux objectifs Cette approche sera appeleacutee laquo criteacuterielle raquo par Robert Glaser (1963) Tyler plaide aussi en faveur drsquoobjectifs reacutedigeacutes de maniegravere agrave inspirer les meacutethodes de formation Quant aux liens entre Meacutethodes de Formation et Evaluation des Apprentissages Tyler deacutecrit comme suit (p 124) ce qui plus tard sera appeleacute test driven curriculum7

laquo Lrsquoeacutevaluation a une puissante influence sur lrsquoapprentissageles eacutetudiants sont influenceacutes dans leur eacutetude par le genre drsquoeacutevaluation qui surviendra et mecircme les enseignants sont influenceacutes par les accents qursquoils mettent (sur certains points de la matiegravere)raquo Pour illustrer ce dernier point signalons une expeacuterience (Leclercq et al 2003) ougrave nous avions inviteacute les eacutetudiants eux-mecircmes par (30) groupes de 5 agrave donner un cours de 2deg Bac chaque groupe preacuteparant (avec lrsquoaide de lrsquoenseignant) une laquo portion raquo de la matiegravere devant tenir en 20 minutes drsquoanimation et 10 minutes de discussion Nous avons appeleacute cette meacutethode laquoProjets drsquoAnimations Reacuteciproques Multimeacutedias - PARM raquo (Jans et al 1998) Les reacutesultats agrave lrsquoexamen ont eacuteteacute leacutegegraverement moins bons que les autres anneacutees Plusieurs explications ont eacuteteacute eacutechafaudeacutees pour expliquer cette baisse Celle qui flatte le plus lrsquoego du professeur est laquo En moyenne le professeur explique mieux la matiegravere que les eacutetudiants raquo Sans exclure cette hypothegravese (ne soyons pas masochiste) on ne peut srsquoempecirccher drsquoen faire une autre laquo Le professeur a une meilleure ideacutee des questions drsquoexamen qursquoil pose drsquohabitude et au moment drsquoenseigner il insiste drsquoune faccedilon plus importante sur ces matiegraveres drsquoexamen (quand il ne les annonce pas comme telles ) raquo8

En traitant de lrsquoimportance de deacutefinir les objectifs avant les meacutethodes de formation et drsquoeacutevaluation et de rapporter ceux-ci aux objectifs Tyler met en avant sans le nommer ainsi ce que nous avons appeleacute (Leclercq 1995) la Triple concordance ou Triple Consistency (Koverkaite et Leclercq 2006)9 Malgreacute le nombre drsquoanneacutees depuis lequel il est reacutepeacuteteacute ce principe est probablement le moins satisfait dans la pratique peacutedagogique Ce nrsquoest pas un hasard mecircme srsquoil est facile agrave comprendre il est difficile agrave mettre en œuvre pour chacun drsquoentre nous surtout quand les objectifs sont ambitieux en termes de compeacutetences Crsquoest en outre un processus continuel car les objectifs les contenus les meacutethodes les eacutevaluations les eacutetudiants ethelliple professeur (ou les encadrants) changent

7 Curriculum inspireacute par le test

8 Voir en section R les effets laquo de reflux raquo 9 En anglais le terme consacreacute est laquo alignment raquo (ex Anderson amp Krathwohl 2001 p 9)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 5

B Les cas de non-concordance

Pour parler du principe de la triple concordance on dessine souvent un triangle comme ci-dessous ougrave les trois traits illustrent la Triple Concordance entre UN objectif UNE Meacutethode et UNE eacutevaluation Degraves que plusieurs objectifs ou plusieurs meacutethodes (de formation) ou plusieurs meacutethodes drsquoeacutevaluation doivent ecirctre pris en compte nous proposons de repreacutesenter les Triples Concordances par les connexions entre les Meacutethodes et les Evaluations via les Objectifs ces derniers opeacuterant comme un laquo sucre raquo (ou connecteur) en eacutelectriciteacute au centre avec agrave gauche les meacutethodes de formation (repreacutesenteacutees par des ovales) et agrave droite les eacutevaluations (rectangles) Une telle repreacutesentation scheacutematique ou graphique est baseacutee sur les principes suivants 1 Les relations de concordance sont repreacutesenteacutees par des liens des fils 2 Les non concordances ne sont pas repreacutesenteacutees et doivent se deacuteduire du scheacutema (par les NON connexions ou des connexions agrave mettre en cause) Il peut aussi ecirctre utile de se doter drsquoun symbolisme pour communiquer agrave propos des concordances et discordances Nous proposons de le faire selon les principes et les codes suivants

-la concordance est repreacutesenteacutee par le symbole du tilde espagnol (~) -la non concordance est repreacutesenteacutee par le signe ne -lrsquoabsence drsquoeacuteleacutement concordant est repreacutesenteacute par le signe suivi du terme () -la concordance mise en cause est repreacutesenteacutee par le mecircme signe suivi drsquoun terme (ex XO4)

Nous postulons que les concordances entre les Meacutethodes (M) et les Evaluations (E) se font par transitiviteacute agrave travers les Objectifs (O) autrement dit si O~M et si O~E alors M~E Il se pourrait que notre postulat soit deacutementi par des exemples concrets Nous cherchons agrave obtenir des expressions agrave 3 termes du type M~O~E

O6

A

B

C

X

Y

Z

Meacutethodes Objectifs Evaluations

O5

O4

O3

O2

O1

OBJECTIF

METHODE EVALUATION

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 6

Lrsquoexemple fictif ci-dessus repreacutesente un cours ougrave les (4) objectifs choisis par lrsquoenseignant sont encadreacutes drsquoun bord tregraves noir (ici O1O3O5 et O6) parmi une seacuterie drsquoobjectifs possibles ici 6 au total dont deux non-choisis (ici O2 et O4) Lrsquoobjectif O5 (qui est un des objectifs viseacutes dans ce cours) est entraicircneacute par une Meacutethode de formation (X) et eacutevalueacute par 2 meacutethodes drsquoEvaluation (A et B) Ceci peut ecirctre pertinent car un principe deacutejagrave mentionneacute par Tyler (194967) est que laquo la mecircme expeacuterience drsquoapprentissage peut souvent produire des effets multiples raquo

Nous notons X~O5~(A+B) On constatera que nous mettons les meacutethodes agrave gauche les objectifs au centre et les eacutevaluations agrave droite La meacutethode X est concordante en principe avec deux objectifs (O6 et O5) Nous disons laquo en principe raquo parce qursquoil se pourrait que contrairement aux attentes une mecircme meacutethode ait des effets positifs sur un objectif et neacutegatifs sur un autre Tyler (194968) illustre cette situation agrave propos drsquoun objectif cognitif et drsquoun autre affectif laquo lrsquoeffort du professeur agrave deacutevelopper la capaciteacute de reacuteciter les piegraveces de Shakespeare peut ecirctre pousseacute agrave un tel point qursquoil deacuteveloppe en mecircme temps une forte reacutepulsion pour Shakespeare raquo Ce qui nous amegravene agrave ecirctre attentifs agrave consideacuterer aussi les effets non attendus neacutegatifs (pervers) ou positifs (heureuses surprises) quel que soit le niveau10 auquel ils srsquoobservent Les meacutethodes X et Z entraicircnent agrave atteindre un mecircme objectif (choisi par lrsquoenseignant) O6

mais celui-ci nrsquoest pas eacutevalueacute Nous notons (X +Z)~O6 ou plus simplement O6 Le code signale un problegraveme ci-dessus lrsquoabsence de terme de concordance Le problegraveme

peut ecirctre aussi la remise en question drsquoune concordance annonceacutee (donc on ne sait pas encore si on est dans la situation ~ ou la situation ne Ainsi la meacutethode X entraicircne aussi lrsquoobjectif O4 non poursuivi par lrsquoenseignant Nous utilisons aussi le code laquo raquo dans ces cas Donc XO4 (Idem YO2)

Lrsquoobjectif O1 (choisi) est eacutevalueacute (par la meacutethode C) mais nrsquoest pas entraicircneacute

Nous notons O1~C Cette situation contredit un principe classique de lrsquoeacuteducation laquo On nrsquoeacutevalue que ce qui a eacuteteacute

entraicircneacute par le cours raquo comme le rappelle Tardif (2006 p 112) laquo Lrsquoeacutethique en matiegravere drsquoeacutevaluation des compeacutetences comme des apprentissages en geacuteneacuteral impose que lrsquoon nrsquoeacutevalue que ce qui a fait lrsquoobjet drsquoapprentissage sous la gouverne des enseignants raquo

Dans leur deacutefinition de compeacutetence Beckers Poumay et Leclercq (2007) choisissent comme eacutevaluation une performance laquo non entraicircneacutee agrave lrsquoidentique raquo (donc entraicircneacutee )

Lrsquoobjectif O3 pourtant retenu (choisi par les objectifs viseacutes) nrsquoest ni entraicircneacute ni eacutevalueacute O3 La meacutethode drsquoeacutevaluation B porte sur deux objectifs (O4 et O5) agrave la fois Par exemple un

test au cours duquel les eacutetudiants doivent pour chaque reacuteponse ajouter un degreacute de certitude (Leclercq 1982 1993 2003) permet de mesurer agrave la fois un aspect de la cognition et un aspect (le jugement) de la meacutetacognition (Leclercq et Poumay 2005)

Dans lrsquoexemple fictif qui nous occupait lrsquoobjectif O4 (imaginons par exemple laquo la capaciteacute agrave reacutesister au stress raquo) nrsquoavait pas eacuteteacute choisi par lrsquoenseignant Or la meacutethode drsquoeacutevaluation B

10 En termes de la classification de Kirkpatrick par exemple (voir section N ci-apregraves)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 7

porte (mecircme contre la volonteacute de lrsquoenseignant) sur cet objectif par exemple si le test est en temps tregraves limiteacute ou srsquoil srsquoagit drsquoun concours et non drsquoun examen

Un bilan des concordances traitera des objectifs choisis et des solutions agrave apporter aux non-

concordances eacuteventuelles Objectifs choisis solutions agrave apporter aux non-concordances eacuteventuelles

O1 ~C Entraicircner O1 parhellipou renoncer agrave O1 et ne plus lrsquoeacutevaluer O3 - Entraicircner et eacutevaluer O3 ou renoncer agrave O3 X~O5~A

X+Z ~O6 Evaluer O6 ou renoncer agrave O6 Puis des anomalies

Objectifs non choisis solutions agrave apporter aux non-concordances eacuteventuelles YO2 Reconnaicirctre O2 parmi les objectifs et donc lrsquoeacutevaluer

XO4B Reconnaicirctre O4 (preacuteserver du stress) comme objectif agrave poursuivre

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 4: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 4

A La Triple Concordance son origine En 1949 Ralph Tyler publie le livre laquo Basic Principles of Curriculum and Instruction raquo dont la structure des chapitres fait deacutejagrave apparaicirctre les quatre composantes les plus connues drsquoun curriculum les Objectifs les Meacutethodes les Evaluations et les Contenus Cette liste sera reprise dans les deacutefinitions ulteacuterieures (la plus connue eacutetant Taba 1962) notamment dans la partie de la deacutefinition de G de Landsheere (1979 p 65) que nous avons souligneacutee

laquo Un curriculum est un ensemble drsquoactions planifieacutees pour susciter lrsquoinstruction il comprend la deacutefinition des objectifs de lrsquoenseignement les contenus les meacutethodes (y compris lrsquoeacutevaluation) les mateacuteriels (y compris les manuels scolaires) et les dispositions relatives agrave la formation adeacutequate des enseignants raquo

Faut-il lire dans laquo planifieacutees raquo le sens de laquo concordance raquo Peut-ecirctre Tyler dans son livre argumente en faveur drsquoeacutevaluations qui permettent de situer les reacutesultats par rapport aux objectifs Cette approche sera appeleacutee laquo criteacuterielle raquo par Robert Glaser (1963) Tyler plaide aussi en faveur drsquoobjectifs reacutedigeacutes de maniegravere agrave inspirer les meacutethodes de formation Quant aux liens entre Meacutethodes de Formation et Evaluation des Apprentissages Tyler deacutecrit comme suit (p 124) ce qui plus tard sera appeleacute test driven curriculum7

laquo Lrsquoeacutevaluation a une puissante influence sur lrsquoapprentissageles eacutetudiants sont influenceacutes dans leur eacutetude par le genre drsquoeacutevaluation qui surviendra et mecircme les enseignants sont influenceacutes par les accents qursquoils mettent (sur certains points de la matiegravere)raquo Pour illustrer ce dernier point signalons une expeacuterience (Leclercq et al 2003) ougrave nous avions inviteacute les eacutetudiants eux-mecircmes par (30) groupes de 5 agrave donner un cours de 2deg Bac chaque groupe preacuteparant (avec lrsquoaide de lrsquoenseignant) une laquo portion raquo de la matiegravere devant tenir en 20 minutes drsquoanimation et 10 minutes de discussion Nous avons appeleacute cette meacutethode laquoProjets drsquoAnimations Reacuteciproques Multimeacutedias - PARM raquo (Jans et al 1998) Les reacutesultats agrave lrsquoexamen ont eacuteteacute leacutegegraverement moins bons que les autres anneacutees Plusieurs explications ont eacuteteacute eacutechafaudeacutees pour expliquer cette baisse Celle qui flatte le plus lrsquoego du professeur est laquo En moyenne le professeur explique mieux la matiegravere que les eacutetudiants raquo Sans exclure cette hypothegravese (ne soyons pas masochiste) on ne peut srsquoempecirccher drsquoen faire une autre laquo Le professeur a une meilleure ideacutee des questions drsquoexamen qursquoil pose drsquohabitude et au moment drsquoenseigner il insiste drsquoune faccedilon plus importante sur ces matiegraveres drsquoexamen (quand il ne les annonce pas comme telles ) raquo8

En traitant de lrsquoimportance de deacutefinir les objectifs avant les meacutethodes de formation et drsquoeacutevaluation et de rapporter ceux-ci aux objectifs Tyler met en avant sans le nommer ainsi ce que nous avons appeleacute (Leclercq 1995) la Triple concordance ou Triple Consistency (Koverkaite et Leclercq 2006)9 Malgreacute le nombre drsquoanneacutees depuis lequel il est reacutepeacuteteacute ce principe est probablement le moins satisfait dans la pratique peacutedagogique Ce nrsquoest pas un hasard mecircme srsquoil est facile agrave comprendre il est difficile agrave mettre en œuvre pour chacun drsquoentre nous surtout quand les objectifs sont ambitieux en termes de compeacutetences Crsquoest en outre un processus continuel car les objectifs les contenus les meacutethodes les eacutevaluations les eacutetudiants ethelliple professeur (ou les encadrants) changent

7 Curriculum inspireacute par le test

8 Voir en section R les effets laquo de reflux raquo 9 En anglais le terme consacreacute est laquo alignment raquo (ex Anderson amp Krathwohl 2001 p 9)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 5

B Les cas de non-concordance

Pour parler du principe de la triple concordance on dessine souvent un triangle comme ci-dessous ougrave les trois traits illustrent la Triple Concordance entre UN objectif UNE Meacutethode et UNE eacutevaluation Degraves que plusieurs objectifs ou plusieurs meacutethodes (de formation) ou plusieurs meacutethodes drsquoeacutevaluation doivent ecirctre pris en compte nous proposons de repreacutesenter les Triples Concordances par les connexions entre les Meacutethodes et les Evaluations via les Objectifs ces derniers opeacuterant comme un laquo sucre raquo (ou connecteur) en eacutelectriciteacute au centre avec agrave gauche les meacutethodes de formation (repreacutesenteacutees par des ovales) et agrave droite les eacutevaluations (rectangles) Une telle repreacutesentation scheacutematique ou graphique est baseacutee sur les principes suivants 1 Les relations de concordance sont repreacutesenteacutees par des liens des fils 2 Les non concordances ne sont pas repreacutesenteacutees et doivent se deacuteduire du scheacutema (par les NON connexions ou des connexions agrave mettre en cause) Il peut aussi ecirctre utile de se doter drsquoun symbolisme pour communiquer agrave propos des concordances et discordances Nous proposons de le faire selon les principes et les codes suivants

-la concordance est repreacutesenteacutee par le symbole du tilde espagnol (~) -la non concordance est repreacutesenteacutee par le signe ne -lrsquoabsence drsquoeacuteleacutement concordant est repreacutesenteacute par le signe suivi du terme () -la concordance mise en cause est repreacutesenteacutee par le mecircme signe suivi drsquoun terme (ex XO4)

Nous postulons que les concordances entre les Meacutethodes (M) et les Evaluations (E) se font par transitiviteacute agrave travers les Objectifs (O) autrement dit si O~M et si O~E alors M~E Il se pourrait que notre postulat soit deacutementi par des exemples concrets Nous cherchons agrave obtenir des expressions agrave 3 termes du type M~O~E

O6

A

B

C

X

Y

Z

Meacutethodes Objectifs Evaluations

O5

O4

O3

O2

O1

OBJECTIF

METHODE EVALUATION

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 6

Lrsquoexemple fictif ci-dessus repreacutesente un cours ougrave les (4) objectifs choisis par lrsquoenseignant sont encadreacutes drsquoun bord tregraves noir (ici O1O3O5 et O6) parmi une seacuterie drsquoobjectifs possibles ici 6 au total dont deux non-choisis (ici O2 et O4) Lrsquoobjectif O5 (qui est un des objectifs viseacutes dans ce cours) est entraicircneacute par une Meacutethode de formation (X) et eacutevalueacute par 2 meacutethodes drsquoEvaluation (A et B) Ceci peut ecirctre pertinent car un principe deacutejagrave mentionneacute par Tyler (194967) est que laquo la mecircme expeacuterience drsquoapprentissage peut souvent produire des effets multiples raquo

Nous notons X~O5~(A+B) On constatera que nous mettons les meacutethodes agrave gauche les objectifs au centre et les eacutevaluations agrave droite La meacutethode X est concordante en principe avec deux objectifs (O6 et O5) Nous disons laquo en principe raquo parce qursquoil se pourrait que contrairement aux attentes une mecircme meacutethode ait des effets positifs sur un objectif et neacutegatifs sur un autre Tyler (194968) illustre cette situation agrave propos drsquoun objectif cognitif et drsquoun autre affectif laquo lrsquoeffort du professeur agrave deacutevelopper la capaciteacute de reacuteciter les piegraveces de Shakespeare peut ecirctre pousseacute agrave un tel point qursquoil deacuteveloppe en mecircme temps une forte reacutepulsion pour Shakespeare raquo Ce qui nous amegravene agrave ecirctre attentifs agrave consideacuterer aussi les effets non attendus neacutegatifs (pervers) ou positifs (heureuses surprises) quel que soit le niveau10 auquel ils srsquoobservent Les meacutethodes X et Z entraicircnent agrave atteindre un mecircme objectif (choisi par lrsquoenseignant) O6

mais celui-ci nrsquoest pas eacutevalueacute Nous notons (X +Z)~O6 ou plus simplement O6 Le code signale un problegraveme ci-dessus lrsquoabsence de terme de concordance Le problegraveme

peut ecirctre aussi la remise en question drsquoune concordance annonceacutee (donc on ne sait pas encore si on est dans la situation ~ ou la situation ne Ainsi la meacutethode X entraicircne aussi lrsquoobjectif O4 non poursuivi par lrsquoenseignant Nous utilisons aussi le code laquo raquo dans ces cas Donc XO4 (Idem YO2)

Lrsquoobjectif O1 (choisi) est eacutevalueacute (par la meacutethode C) mais nrsquoest pas entraicircneacute

Nous notons O1~C Cette situation contredit un principe classique de lrsquoeacuteducation laquo On nrsquoeacutevalue que ce qui a eacuteteacute

entraicircneacute par le cours raquo comme le rappelle Tardif (2006 p 112) laquo Lrsquoeacutethique en matiegravere drsquoeacutevaluation des compeacutetences comme des apprentissages en geacuteneacuteral impose que lrsquoon nrsquoeacutevalue que ce qui a fait lrsquoobjet drsquoapprentissage sous la gouverne des enseignants raquo

Dans leur deacutefinition de compeacutetence Beckers Poumay et Leclercq (2007) choisissent comme eacutevaluation une performance laquo non entraicircneacutee agrave lrsquoidentique raquo (donc entraicircneacutee )

Lrsquoobjectif O3 pourtant retenu (choisi par les objectifs viseacutes) nrsquoest ni entraicircneacute ni eacutevalueacute O3 La meacutethode drsquoeacutevaluation B porte sur deux objectifs (O4 et O5) agrave la fois Par exemple un

test au cours duquel les eacutetudiants doivent pour chaque reacuteponse ajouter un degreacute de certitude (Leclercq 1982 1993 2003) permet de mesurer agrave la fois un aspect de la cognition et un aspect (le jugement) de la meacutetacognition (Leclercq et Poumay 2005)

Dans lrsquoexemple fictif qui nous occupait lrsquoobjectif O4 (imaginons par exemple laquo la capaciteacute agrave reacutesister au stress raquo) nrsquoavait pas eacuteteacute choisi par lrsquoenseignant Or la meacutethode drsquoeacutevaluation B

10 En termes de la classification de Kirkpatrick par exemple (voir section N ci-apregraves)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 7

porte (mecircme contre la volonteacute de lrsquoenseignant) sur cet objectif par exemple si le test est en temps tregraves limiteacute ou srsquoil srsquoagit drsquoun concours et non drsquoun examen

Un bilan des concordances traitera des objectifs choisis et des solutions agrave apporter aux non-

concordances eacuteventuelles Objectifs choisis solutions agrave apporter aux non-concordances eacuteventuelles

O1 ~C Entraicircner O1 parhellipou renoncer agrave O1 et ne plus lrsquoeacutevaluer O3 - Entraicircner et eacutevaluer O3 ou renoncer agrave O3 X~O5~A

X+Z ~O6 Evaluer O6 ou renoncer agrave O6 Puis des anomalies

Objectifs non choisis solutions agrave apporter aux non-concordances eacuteventuelles YO2 Reconnaicirctre O2 parmi les objectifs et donc lrsquoeacutevaluer

XO4B Reconnaicirctre O4 (preacuteserver du stress) comme objectif agrave poursuivre

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 5: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 5

B Les cas de non-concordance

Pour parler du principe de la triple concordance on dessine souvent un triangle comme ci-dessous ougrave les trois traits illustrent la Triple Concordance entre UN objectif UNE Meacutethode et UNE eacutevaluation Degraves que plusieurs objectifs ou plusieurs meacutethodes (de formation) ou plusieurs meacutethodes drsquoeacutevaluation doivent ecirctre pris en compte nous proposons de repreacutesenter les Triples Concordances par les connexions entre les Meacutethodes et les Evaluations via les Objectifs ces derniers opeacuterant comme un laquo sucre raquo (ou connecteur) en eacutelectriciteacute au centre avec agrave gauche les meacutethodes de formation (repreacutesenteacutees par des ovales) et agrave droite les eacutevaluations (rectangles) Une telle repreacutesentation scheacutematique ou graphique est baseacutee sur les principes suivants 1 Les relations de concordance sont repreacutesenteacutees par des liens des fils 2 Les non concordances ne sont pas repreacutesenteacutees et doivent se deacuteduire du scheacutema (par les NON connexions ou des connexions agrave mettre en cause) Il peut aussi ecirctre utile de se doter drsquoun symbolisme pour communiquer agrave propos des concordances et discordances Nous proposons de le faire selon les principes et les codes suivants

-la concordance est repreacutesenteacutee par le symbole du tilde espagnol (~) -la non concordance est repreacutesenteacutee par le signe ne -lrsquoabsence drsquoeacuteleacutement concordant est repreacutesenteacute par le signe suivi du terme () -la concordance mise en cause est repreacutesenteacutee par le mecircme signe suivi drsquoun terme (ex XO4)

Nous postulons que les concordances entre les Meacutethodes (M) et les Evaluations (E) se font par transitiviteacute agrave travers les Objectifs (O) autrement dit si O~M et si O~E alors M~E Il se pourrait que notre postulat soit deacutementi par des exemples concrets Nous cherchons agrave obtenir des expressions agrave 3 termes du type M~O~E

O6

A

B

C

X

Y

Z

Meacutethodes Objectifs Evaluations

O5

O4

O3

O2

O1

OBJECTIF

METHODE EVALUATION

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 6

Lrsquoexemple fictif ci-dessus repreacutesente un cours ougrave les (4) objectifs choisis par lrsquoenseignant sont encadreacutes drsquoun bord tregraves noir (ici O1O3O5 et O6) parmi une seacuterie drsquoobjectifs possibles ici 6 au total dont deux non-choisis (ici O2 et O4) Lrsquoobjectif O5 (qui est un des objectifs viseacutes dans ce cours) est entraicircneacute par une Meacutethode de formation (X) et eacutevalueacute par 2 meacutethodes drsquoEvaluation (A et B) Ceci peut ecirctre pertinent car un principe deacutejagrave mentionneacute par Tyler (194967) est que laquo la mecircme expeacuterience drsquoapprentissage peut souvent produire des effets multiples raquo

Nous notons X~O5~(A+B) On constatera que nous mettons les meacutethodes agrave gauche les objectifs au centre et les eacutevaluations agrave droite La meacutethode X est concordante en principe avec deux objectifs (O6 et O5) Nous disons laquo en principe raquo parce qursquoil se pourrait que contrairement aux attentes une mecircme meacutethode ait des effets positifs sur un objectif et neacutegatifs sur un autre Tyler (194968) illustre cette situation agrave propos drsquoun objectif cognitif et drsquoun autre affectif laquo lrsquoeffort du professeur agrave deacutevelopper la capaciteacute de reacuteciter les piegraveces de Shakespeare peut ecirctre pousseacute agrave un tel point qursquoil deacuteveloppe en mecircme temps une forte reacutepulsion pour Shakespeare raquo Ce qui nous amegravene agrave ecirctre attentifs agrave consideacuterer aussi les effets non attendus neacutegatifs (pervers) ou positifs (heureuses surprises) quel que soit le niveau10 auquel ils srsquoobservent Les meacutethodes X et Z entraicircnent agrave atteindre un mecircme objectif (choisi par lrsquoenseignant) O6

mais celui-ci nrsquoest pas eacutevalueacute Nous notons (X +Z)~O6 ou plus simplement O6 Le code signale un problegraveme ci-dessus lrsquoabsence de terme de concordance Le problegraveme

peut ecirctre aussi la remise en question drsquoune concordance annonceacutee (donc on ne sait pas encore si on est dans la situation ~ ou la situation ne Ainsi la meacutethode X entraicircne aussi lrsquoobjectif O4 non poursuivi par lrsquoenseignant Nous utilisons aussi le code laquo raquo dans ces cas Donc XO4 (Idem YO2)

Lrsquoobjectif O1 (choisi) est eacutevalueacute (par la meacutethode C) mais nrsquoest pas entraicircneacute

Nous notons O1~C Cette situation contredit un principe classique de lrsquoeacuteducation laquo On nrsquoeacutevalue que ce qui a eacuteteacute

entraicircneacute par le cours raquo comme le rappelle Tardif (2006 p 112) laquo Lrsquoeacutethique en matiegravere drsquoeacutevaluation des compeacutetences comme des apprentissages en geacuteneacuteral impose que lrsquoon nrsquoeacutevalue que ce qui a fait lrsquoobjet drsquoapprentissage sous la gouverne des enseignants raquo

Dans leur deacutefinition de compeacutetence Beckers Poumay et Leclercq (2007) choisissent comme eacutevaluation une performance laquo non entraicircneacutee agrave lrsquoidentique raquo (donc entraicircneacutee )

Lrsquoobjectif O3 pourtant retenu (choisi par les objectifs viseacutes) nrsquoest ni entraicircneacute ni eacutevalueacute O3 La meacutethode drsquoeacutevaluation B porte sur deux objectifs (O4 et O5) agrave la fois Par exemple un

test au cours duquel les eacutetudiants doivent pour chaque reacuteponse ajouter un degreacute de certitude (Leclercq 1982 1993 2003) permet de mesurer agrave la fois un aspect de la cognition et un aspect (le jugement) de la meacutetacognition (Leclercq et Poumay 2005)

Dans lrsquoexemple fictif qui nous occupait lrsquoobjectif O4 (imaginons par exemple laquo la capaciteacute agrave reacutesister au stress raquo) nrsquoavait pas eacuteteacute choisi par lrsquoenseignant Or la meacutethode drsquoeacutevaluation B

10 En termes de la classification de Kirkpatrick par exemple (voir section N ci-apregraves)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 7

porte (mecircme contre la volonteacute de lrsquoenseignant) sur cet objectif par exemple si le test est en temps tregraves limiteacute ou srsquoil srsquoagit drsquoun concours et non drsquoun examen

Un bilan des concordances traitera des objectifs choisis et des solutions agrave apporter aux non-

concordances eacuteventuelles Objectifs choisis solutions agrave apporter aux non-concordances eacuteventuelles

O1 ~C Entraicircner O1 parhellipou renoncer agrave O1 et ne plus lrsquoeacutevaluer O3 - Entraicircner et eacutevaluer O3 ou renoncer agrave O3 X~O5~A

X+Z ~O6 Evaluer O6 ou renoncer agrave O6 Puis des anomalies

Objectifs non choisis solutions agrave apporter aux non-concordances eacuteventuelles YO2 Reconnaicirctre O2 parmi les objectifs et donc lrsquoeacutevaluer

XO4B Reconnaicirctre O4 (preacuteserver du stress) comme objectif agrave poursuivre

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 6: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 6

Lrsquoexemple fictif ci-dessus repreacutesente un cours ougrave les (4) objectifs choisis par lrsquoenseignant sont encadreacutes drsquoun bord tregraves noir (ici O1O3O5 et O6) parmi une seacuterie drsquoobjectifs possibles ici 6 au total dont deux non-choisis (ici O2 et O4) Lrsquoobjectif O5 (qui est un des objectifs viseacutes dans ce cours) est entraicircneacute par une Meacutethode de formation (X) et eacutevalueacute par 2 meacutethodes drsquoEvaluation (A et B) Ceci peut ecirctre pertinent car un principe deacutejagrave mentionneacute par Tyler (194967) est que laquo la mecircme expeacuterience drsquoapprentissage peut souvent produire des effets multiples raquo

Nous notons X~O5~(A+B) On constatera que nous mettons les meacutethodes agrave gauche les objectifs au centre et les eacutevaluations agrave droite La meacutethode X est concordante en principe avec deux objectifs (O6 et O5) Nous disons laquo en principe raquo parce qursquoil se pourrait que contrairement aux attentes une mecircme meacutethode ait des effets positifs sur un objectif et neacutegatifs sur un autre Tyler (194968) illustre cette situation agrave propos drsquoun objectif cognitif et drsquoun autre affectif laquo lrsquoeffort du professeur agrave deacutevelopper la capaciteacute de reacuteciter les piegraveces de Shakespeare peut ecirctre pousseacute agrave un tel point qursquoil deacuteveloppe en mecircme temps une forte reacutepulsion pour Shakespeare raquo Ce qui nous amegravene agrave ecirctre attentifs agrave consideacuterer aussi les effets non attendus neacutegatifs (pervers) ou positifs (heureuses surprises) quel que soit le niveau10 auquel ils srsquoobservent Les meacutethodes X et Z entraicircnent agrave atteindre un mecircme objectif (choisi par lrsquoenseignant) O6

mais celui-ci nrsquoest pas eacutevalueacute Nous notons (X +Z)~O6 ou plus simplement O6 Le code signale un problegraveme ci-dessus lrsquoabsence de terme de concordance Le problegraveme

peut ecirctre aussi la remise en question drsquoune concordance annonceacutee (donc on ne sait pas encore si on est dans la situation ~ ou la situation ne Ainsi la meacutethode X entraicircne aussi lrsquoobjectif O4 non poursuivi par lrsquoenseignant Nous utilisons aussi le code laquo raquo dans ces cas Donc XO4 (Idem YO2)

Lrsquoobjectif O1 (choisi) est eacutevalueacute (par la meacutethode C) mais nrsquoest pas entraicircneacute

Nous notons O1~C Cette situation contredit un principe classique de lrsquoeacuteducation laquo On nrsquoeacutevalue que ce qui a eacuteteacute

entraicircneacute par le cours raquo comme le rappelle Tardif (2006 p 112) laquo Lrsquoeacutethique en matiegravere drsquoeacutevaluation des compeacutetences comme des apprentissages en geacuteneacuteral impose que lrsquoon nrsquoeacutevalue que ce qui a fait lrsquoobjet drsquoapprentissage sous la gouverne des enseignants raquo

Dans leur deacutefinition de compeacutetence Beckers Poumay et Leclercq (2007) choisissent comme eacutevaluation une performance laquo non entraicircneacutee agrave lrsquoidentique raquo (donc entraicircneacutee )

Lrsquoobjectif O3 pourtant retenu (choisi par les objectifs viseacutes) nrsquoest ni entraicircneacute ni eacutevalueacute O3 La meacutethode drsquoeacutevaluation B porte sur deux objectifs (O4 et O5) agrave la fois Par exemple un

test au cours duquel les eacutetudiants doivent pour chaque reacuteponse ajouter un degreacute de certitude (Leclercq 1982 1993 2003) permet de mesurer agrave la fois un aspect de la cognition et un aspect (le jugement) de la meacutetacognition (Leclercq et Poumay 2005)

Dans lrsquoexemple fictif qui nous occupait lrsquoobjectif O4 (imaginons par exemple laquo la capaciteacute agrave reacutesister au stress raquo) nrsquoavait pas eacuteteacute choisi par lrsquoenseignant Or la meacutethode drsquoeacutevaluation B

10 En termes de la classification de Kirkpatrick par exemple (voir section N ci-apregraves)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 7

porte (mecircme contre la volonteacute de lrsquoenseignant) sur cet objectif par exemple si le test est en temps tregraves limiteacute ou srsquoil srsquoagit drsquoun concours et non drsquoun examen

Un bilan des concordances traitera des objectifs choisis et des solutions agrave apporter aux non-

concordances eacuteventuelles Objectifs choisis solutions agrave apporter aux non-concordances eacuteventuelles

O1 ~C Entraicircner O1 parhellipou renoncer agrave O1 et ne plus lrsquoeacutevaluer O3 - Entraicircner et eacutevaluer O3 ou renoncer agrave O3 X~O5~A

X+Z ~O6 Evaluer O6 ou renoncer agrave O6 Puis des anomalies

Objectifs non choisis solutions agrave apporter aux non-concordances eacuteventuelles YO2 Reconnaicirctre O2 parmi les objectifs et donc lrsquoeacutevaluer

XO4B Reconnaicirctre O4 (preacuteserver du stress) comme objectif agrave poursuivre

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 7: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 7

porte (mecircme contre la volonteacute de lrsquoenseignant) sur cet objectif par exemple si le test est en temps tregraves limiteacute ou srsquoil srsquoagit drsquoun concours et non drsquoun examen

Un bilan des concordances traitera des objectifs choisis et des solutions agrave apporter aux non-

concordances eacuteventuelles Objectifs choisis solutions agrave apporter aux non-concordances eacuteventuelles

O1 ~C Entraicircner O1 parhellipou renoncer agrave O1 et ne plus lrsquoeacutevaluer O3 - Entraicircner et eacutevaluer O3 ou renoncer agrave O3 X~O5~A

X+Z ~O6 Evaluer O6 ou renoncer agrave O6 Puis des anomalies

Objectifs non choisis solutions agrave apporter aux non-concordances eacuteventuelles YO2 Reconnaicirctre O2 parmi les objectifs et donc lrsquoeacutevaluer

XO4B Reconnaicirctre O4 (preacuteserver du stress) comme objectif agrave poursuivre

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 8: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 8

C Deacuteclarations et reacutealiteacutes Nous avons reproduit la deacutemarche meneacutee par Peter Knight en 2000 agrave lrsquoOpen University nous avons demandeacute aux 11 enseignants (colonnes du tableau ci-dessous) intervenant dans un mecircme curriculum (donc aux mecircmes eacutetudiants) de reacutepondre agrave deux questions La premiegravere eacutetait laquoParmi les compeacutetences transversales ci-dessous auxquelles votre cours entraicircne-t-il raquo Voici en tableau les reacuteponses (v = oui) pour 10 compeacutetences (en lignes)

On constate que 3 enseignants (1 6 et 9) deacuteclarent que leur cours entraicircne agrave TOUS les objectifs et que sauf lrsquoobjectif TIC (Entraicircnement agrave lrsquoutilisation des TIC) toutes les autres compeacutetences sont laquodeacuteclareacutees raquo comme exerceacutees par la grande majoriteacute des enseignants Nous ne sommes pas alleacute jusqursquoagrave demander quelles activiteacutes y contribuaient mais dans une perspective de Triple Concordance il le faudrait La deuxiegraveme question eacutetait laquoParmi les compeacutetences transversales auxquelles vous contribuez lesquelles eacutevaluez-vous systeacutematiquement raquo Voici les reacuteponses des mecircmes professeurs (une case griseacutee = oui)

On constate que les compeacutetences deacuteclareacutees comme eacutevalueacutees sont beaucoup moins nombreuses (30 2377) que les objectifs deacuteclareacutes comme entraicircneacutes Drsquoune anneacutee agrave lrsquoautre les eacutetudiants se communiquent ces non concordanceshellipet se preacuteparent aux examens en conseacutequence

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

COMPETENCES 1 2 3 4 5 6 7 8 9 10 11

Esprit critique V V V V V V V V V V V

Argumentation V V V V V V V V V

Capaciteacutes numeacuteriques V V V V V V

Flexibiliteacute V V V V V V V V V V V

Exploitation de lrsquoinformation V V V V V V V V

Meacutethodes de Recherches V V V V V V V V

TIC V V V V

Communication V V V V V V V V V V V

Reacutesolution de problegravemes V V V V V V V V V V

Organisation du travail V V V V V V V V V V

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 9: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 9

D Exemples typiques de discordances Contrairement aux situations de la section B les scheacutemas ci-dessus mettent des contenus dans les boicirctes Nous invitons le lecteur agrave lire drsquoabord les contenus des boicirctes (y compris dans la colonne laquo Objectifs raquo ougrave ne sont deacutetailleacutes que des objectifs choisis) puis seulement le commentaire eacutecrit Exemple 1 Preacutetentions non satisfaites Les Objectifs et lrsquoEvaluation sont concordants la question sur Napoleacuteon (rectangle agrave droite) demande en effet de lrsquoesprit critique (Objectif au centre) du moins si lrsquoenseignant nrsquoa pas laquo souffleacute raquo la reacuteponse lors du cours Par contre la Meacutethode (ovale agrave gauche) elle nrsquoentraicircne pas du tout cet objectif mais un objectif non seacutelectionneacute (Meacutemoriser des faits ponctuels) Exemple 2 Compeacutetences non-eacutevalueacutees Ici crsquoest le contraire Les deacutebats contradictoires (agrave gauche) sont de nature agrave exercer lrsquoesprit critique (au centre) parce qursquoon peut penser qursquoils vont faire eacutemerger des aspects neacutegligeacutes par chacun faire se rencontrer les subjectiviteacutes bref creacuteer des conflits socio-cognitifs aidant chacun agrave mieux se positionner ou en tout cas agrave argumenter sur sa position Par contre on constate que lrsquoexamen (agrave droite) lui ne porte pas du tout sur cette compeacutetence mais se limite agrave de la restitution de faits

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

laquo Napoleacuteon est-il encore possible agravenotre eacutepoque raquo

Esprit critiqueEsprit critique

(meacutemoriser des faitsponctuels)

Transmission de dates

mariages bataillesdes faits bruts

Meacutethodes Evaluations

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

QRO

Restitution de meacutemoire

Esprit critiqueEsprit critiqueDeacutebats contradcitoires

Meacutethodes Evaluations

(meacutemoriser des faitsponctuels)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 10: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 10

Exemple 3 La neacutecessiteacute de diversifier meacutethodes et eacutevaluations Du cocircteacute des meacutethodes la faculteacute de meacutedecine de Maastricht est connue pour ecirctre en Problem Based Learning (PBL) ou Apprentissage Par Problegravemes (APP) une universiteacute laquo en pointe raquo Du cocircteacute des Meacutethodes on sait que lrsquoAPP amegravene entre autres les eacutetudiants agrave

-analyser un problegraveme (un cas meacutedical preacutesenteacute par un patient simuleacute) et ce en groupes de 8 -rechercher des informations dans le laquo study landscape raquo

Du cocircteacute des Evaluations la mecircme universiteacute pratique un systegraveme unique au monde les Progress Tests (Leclercq amp Van der Vleuten 1998 Verhoeven 2003) qui consistent agrave tester 4 fois par an tous les eacutetudiants (des 6 anneacutees de meacutedecine) sur toute la meacutedecine agrave lrsquoaide drsquoun mecircme test eacutecrit de 250 Vrai-Faux sur des cas eacutecrits (aussi appeleacutes laquo vignettes cliniques raquo) Si lrsquoon srsquoen tenait agrave ce scheacutema (incomplet) un objectif tregraves important (professionnel) laquo Reacuteagir en situation raquo ne serait ni entraicircneacute ni eacutevalueacute Heureusement agrave Maastricht en plus des laquo tutorial groups raquo les eacutetudiants beacuteneacuteficient de laquo skillslabs raquo ougrave sont entraicircneacutees systeacutematiquement diverses habileteacutes par exemple mener une anamnegravese ausculter preacutelever du sang faire une injection diagnostiquer annoncer une mauvaise nouvelle prescrire etc De mecircme plus reacutecemment (dans les anneacutees 2000) la faculteacute a introduit en eacutevaluation les ECOS (Examens cliniques Objectifs Structureacutes)11 ougrave des professionnels jouent le rocircle de patients ougrave les situations sont reconstruites le plus possible laquo agrave lrsquoauthentique raquo et ougrave les eacutetudiants en meacutedecine doivent poser les questions au laquo patient raquo (simuleacute) Le tableau de Triple concordance est donc tregraves satisfaisantparce qursquoon a recouru agrave de multiples meacutethodes de formation et drsquoeacutevaluation On constate que lrsquoObjectif laquo rechercher des informations raquo (dans les livres sur le web) nrsquoest dans ce scheacutema toujours pas eacutevalueacute alors qursquoil est entraicircneacute

11 Aussi pratiqueacutes en faculteacute de meacutedecine agrave lrsquouniversiteacute de Liegravege en Peacutediatrie (J-P Bourguignon) en meacutedecine geacuteneacuterale (D Giet) en pharmacie (L Angenot et G Philippe)

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

Ni entraicircneacute ni eacutevalueacuteRReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ObjectifsObjectifs

sseacuteeacutelectionnlectionneacuteeacutess

250 VF sur vignettes cliniquessur papier

RReacuteeacuteagir en situationagir en situation

APP Apprentissage

Par Problegravemes

Meacutethodes Evaluations

Analyser des problAnalyser des problegraveegravemesmes

Rechercher des infosRechercher des infos

Entraicircneacute pas eacutevalueacute

ECOS

Examens Cliniques

Objectifs Structureacutes

Skills Labsrelationnels

Test de Progression

Test de Progression

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 11: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 11

E Les compeacutetences des objectifs particuliers Sur la base du livre de Beckers (2002) J Beckers D Leclercq et M Poumay (2007) ont proposeacute la deacutefinition suivante

laquo Une compeacutetence est la capaciteacute agrave

agir efficacement

en mobilisant -spontaneacutement -correctement -de faccedilon organiseacutee (selon les cas fluide eacuteconomique meacutethodique)

des ressources internes (savoirs savoir-faire attitudes propres agrave lrsquoindividu) et externes (expeacuterience drsquoautres collegravegues documentationhellip)

en situation complexe non entraicircneacutee agrave lrsquoidentique (chez le sujet)

qui appartient agrave une famille de situations -ouvertes (plusieurs deacutemarches possibles eacuteventuellement plusieurs reacuteponses acceptables) -jugeacutees critiques essentielles agrave la vie sociale (professionnelle ou citoyenne) raquo

Ces trois auteurs poursuivent par le texte et le tableau suivants laquo Elle suppose la capaciteacute de reacuteflexion sur - la situation (en identifier les caracteacuteristiques de structure sous lrsquohabillage contextuel pour favoriser le

transfert agrave drsquoautres situations de la mecircme famille) - la qualiteacute de sa deacutemarche (meacutetacognition)

Une formation baseacutee sur les compeacutetences requiert une reacuteflexion inteacutegreacutee sur trois registres

OBJECTIFS METHODES EVALUATION CERTIFICATIVE

- Les compeacutetences sont un type particulier drsquoobjectifs de formation qui ont une reacutesonance sociale

(donc il faut deacutefinir les quelques familles de situations essentielles)

- Les compeacutetences doivent

constituer une proportion adeacutequate des objectifs drsquoune formation

par rapport aux attentes de la socieacuteteacute des professions particuliegraveres des champs disciplinaires

- Susciter et faciliter lrsquoapprentissage de savoirs savoir-faire attitudes qui pourraient devenir des ressources pour agir dans des familles de situations

- Entraicircner (avec eacutetayage

deacutegressif) agrave mobiliser des ressources en situation (approche par problegravemes projetshellip)

- et travailler le transfert par la reacuteflexion sur lrsquoaction

lrsquoeacutevaluation formative est un de ces moyens

Evaluer le degreacute de maicirctrise - des ressources (donc deacutefinir

les modaliteacutes drsquoeacutevaluation les seuils de qualiteacute de performance)

- des compeacutetences (donc

choisir des situations nouvelles mais appartenant aux familles travailleacutees en formation en nombre suffisant et fixer les critegraveres de qualiteacute et les seuils de performance)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 12: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 12

Ces mecircmes auteurs fournissent une autre deacutefinition compleacutementaire

laquo Une compeacutetence transversale est la maicirctrise drsquoune deacutemarche commune permettant drsquoagir face agrave diffeacuterentes familles de situations ouet agrave diffeacuterentes disciplines Elle suppose la mecircme capaciteacute de reacuteflexion sur lrsquoaction raquo Les distinctions entre ces mecircmes concepts peuvent se structurer dans une meacutetaphore (donc forceacutement limiteacutee et caricaturale) drsquoeacutequation (voir au bas de cette page) inspireacutee de Roegiers (2000) Par exemple la preacutesence des X (signe de la multiplication) veut illustrer lrsquoideacutee que lrsquoon est dans une combinatoire chaque contenu peut ecirctre (en theacuteorie) multiplieacute par les nombres drsquoactiviteacutes mentales pour deacuteterminer le nombre drsquohabileteacutes ou capaciteacutes diffeacuterentes consideacutereacutees Pour comprendre cette laquo eacutequation raquo rappelons que les objectifs ont drsquoabord historiquement eacuteteacute deacutefinis en termes de CONTENUS (des listes de matiegraveres laquo agrave voir raquo) En fait crsquoest plus subtil car mecircme srsquoils ne lrsquoexprimaient pas les enseignants attendaient que certains processus mentaux (certaines activiteacutes mentales) ou certaines manipulations (activiteacutes concregravetes) soient appliqueacutees agrave ces contenus Ainsi mecircme quand un professeur eacutenonccedilait (ou eacutenonce encore) laquo Parmi mes objectifs il y a la loi drsquoOhm raquo il pense laquoque lrsquoeacutetudiant doit pouvoir eacutenoncer manipuler sous forme de formule matheacutematique appliquer agrave certaines situations concregravetes raquo Benjamin Bloom (et al 1956) ont proposeacute une classification de (six) processus

mentaux (voir note 1) -la connaissance (recognition ou restitution de meacutemoire) -la compreacutehension (traduction) -lrsquoapplication (drsquoune loi agrave un cas particulier) -lrsquoanalyse (de mateacuteriau peu ou mal structureacute) -la synthegravese (ou lrsquoexpression la formulation eacuteventuellement creacuteative) -lrsquoeacutevaluation (jugement en termes de critegraveres internes)

Cette contribution a constitueacute un apport crucial pour la conception des objectifs et de leur eacutevaluation La fameuse phrase laquo Lrsquoeacutetudiant sera capable de raquo est deacutesormais suivie de processus mentaux ET de contenus auxquels ils sont appliqueacutes Lrsquoattention (justifieacutee) porteacutee plus reacutecemment sur les compeacutetences comme type drsquoobjectifs importants amegravene agrave imaginer des situations (de la vie professionnelle ou citoyenne) nouvelles (pas entraicircneacutees agrave lrsquoidentique) ainsi que des proceacutedures drsquoeacutevaluation qui veacuterifient la compeacutetence dans ses aspects spontaneacute et autonome

Evolution historique des objectifs de lrsquoeacuteducationD Leclercq Pucon Mars 2007

Contenus x Activiteacutes (mentales et concregravetes) =

= Capaciteacutes (Lrsquoeacutetudiant sera capable de )

Compeacutetences

Contenus

Contenus x Activiteacutes x Situation

(Roegiers 2000)

(Mager 1962)

spontaneacutees

autonomesContenus x Activiteacutes x Situation nouvelle

(Beckers 2002)

(Leclercq 2007)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 13: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 13

F Objectifs speacutecifiques et objectifs transversaux Nous avons preacutesenteacute ailleurs12 une laquo architecture des compeacutetences raquo sous la forme drsquoune pyramide maya agrave 4 paliers Le premier niveau (du bas) est speacutecifique agrave une matiegravere une discipline un contenu Les trois niveaux supeacuterieurs sont des objectifs transversaux de trois types Voici un exemple de preacutesentation de Plan de Cours structureacute selon cette architecture et tentant de visualiser la Triple Concordance (entre les 3 autres colonnes)

12 (Leclercq 1987 1998 p72)

Universiteacute de Liegravege FAPSE Engagement Peacutedagogique2006-2007 Cours C011B Introduction aux Sciences de lEducation

Partim 1 Introduction et Peacutedagogie Universitaire Professeur Dieudonneacute Leclercq dleclercqulgacbe teacutel 04-3662072

Objectifs (Compeacutetences viseacutees) Meacutethodes et modaliteacutes dEvaluation

Compeacute-tences Dyna-miques

Prendre inteacuterecirct agrave la matiegravere la lier agrave sa propre vie et se positionner -1 en tant que citoyen confronteacute agrave des questions lieacutees au contenu du cours (qualiteacute deacutemocratisation eacutequiteacute) 2en tant queacutetudiant partie prenante de la PU (relations professeurs - eacutelegraveves implication au cours

films (Modeacutelisation)

Deacutebats

Questions intercaleacutees en exposeacutes

Participation au cours -TOPACMER -Poser des questions en LQRT par mail ou courrier ou en classe -Participer aux tests formatifs et aux dialogues meacutetacognitifs

Compeacute-tences

Auto cognitives

-1 Avoir conscience de ses meacutethodes de travail estimer ses chances (reacutealistes) de reacuteussir des efforts agrave reacutealiser pour y parvenir de son degreacute de maicirctrise de chaque contenu

Tests formatifs (exercices) sur certains

chapitres +

Dialogues meacutetacognitifs optionnels sur ces tests

Utilisation reacutealiste des Degreacutes de Certitude (DC) qui rapporteront des PLUS META (meacutetacognitifs) dans les examens eacutecrits Imprudence sur LO et LF Confiance

-2 Estimer sa capaciteacute de comprendre langlais oral et eacutecrit et ecirctre rassureacute sur sa capaciteacute de lrsquoameacuteliorer

Exposeacute (preacutepareacute) sur chap 8

en anglais

Attitude positive (confiance) au questionnaire post exposeacute sur PBL

Compeacutetences

Esprit critique statut de divers messages Comprendre une reacutefeacuterence (normes APA) et trouver linformation dans lUD

Exercices sur certains chapitres

Q Esprit critique Q APA et UD

Deacutemultiplicatrices

Lire pour comprendre et consulter le dictionnaire en vocabulaire franccedilais Idem vocabulaire anglais Faire preuve de Vigilance cognitive

Exercices sur certains chapitres

Q Dico Vocab Franccedilais QhellipDico Vocab Anglais Scores aux Q ougrave RC = SGI

Compeacutetences Speacutecifiques

LF LO

Comprendre la matiegravere Connaicirctre la matiegravere (voir liste en annexe)

Cours en preacutesentiel +

LQRT Liste de concepts et de termes agrave meacutemoriser LQRT

Examen agrave Livres OUVERTS (LO ) QCM SGI sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ Examen agrave Livres FERMES (LF ) QCL sur ISE + 7 chapitres (ni 5 ni 6 ni 9) de PPUQ

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 14: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 14

G La compleacutementariteacute des meacutethodes drsquoeacutevaluation des acquis Il ne manque pas drsquoexemples ceacutelegravebres ougrave les diverses composantes des objectifs sont eacutevalueacutees par des meacutethodes diverses mais compleacutementaires Un des exemples les plus connus est lrsquoeacutepreuve du Permis de conduire qui en Belgique a un volet theacuteorique (sur papier) et une laquo partie pratique raquo (volant en mains dans la circulation) Un autre exemple est fourni par les systegravemes drsquoeacutevaluation en faculteacute de meacutedecine agrave Maastricht des tests (de trois types) des travaux pratiques en laquo Skills labs raquo des simulations (les ECOS) des stages (en hocircpital chez des meacutedecins geacuteneacuteralistes etc) La multipliciteacute est la regravegle

Test QCM Conduite dans la cricultation

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 15: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 15

H Un continuum de meacutethodes drsquoEvaluation des acquis Comme le montre le scheacutema ci-dessous on peut ranger les diverses meacutethodes sur un axe horizontal allant du contexte scolaire (agrave gauche) agrave une situation professionnelle (ou citoyenne) Cet axe qui est le mecircme que celui de lrsquoeacutequation deacutefinissant les habileteacutes et les compeacutetences est donc celui de lrsquoauthenticiteacute de la situation drsquoeacutevaluation Techniquement les speacutecialistes de lrsquoeacutevaluation parlent de la validiteacute eacutecologique (terme ducirc agrave Egon Brunswick 1943) de la meacutethode drsquoeacutevaluation pour indiquer son degreacute de proximiteacute agrave la situation reacuteelle agrave laquelle on preacutepare les eacutetudiants Les tests peuvent revecirctir diverses formes QCM (Questions agrave Choix Multiple) QRO (Questions agrave Reacuteponses Ouvertes) QROC (courtes) QROL (longues) etc Les travaux pratiques peuvent porter sur des manipulations avec un degreacute de reacutealisme (ducirc aux objets et instruments reacuteels) beaucoup plus pousseacutes Les exposeacutes et rapports (documentation) mesurent surtout la capaciteacute de production (orale et eacutecrite) Les simulations ou jeux de rocircles ainsi que les situations de reacutesolution de problegravemes visent agrave mesurer la capaciteacute de reacuteagir dans des situations volontairement mal deacutefinies (ill-defined problems) ce qui en fait des problegravemes Les stages et les portfolios visent agrave rendre compte chacun agrave leur faccedilon de la capaciteacute agrave reacuteagir ou agrave produire agrave creacuteer dans une situation de longue dureacutee en interaction avec la totaliteacute des variables de la vie reacuteelle (mais pas forceacutement sans soutien)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 16: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 16

I Les Eveacutenements drsquoApprentissage Enseignements (EAE) Nous avions drsquoabord distingueacute 6 laquo paradigmesraquo drsquoapprentissage (Leclercq et Denis 1995) paradigme eacutetant pris dans le sens laquo ce que lrsquoon montre agrave titre drsquoexemple ce agrave quoi on se reacutefegravere comme agrave ce qui exemplifie une regravegle et peut donc servir de modegravele raquo (Encyclopaedia Universalis 1990 2606) Malheureusement ce terme (paradigme) doit ecirctre agrave chaque fois expliciteacute notamment parce qursquoil a drsquoautres significations notamment celle de Kuhn (19) Crsquoest pourquoi deacutesormais nous parlons deacutesormais (Leclercq et Poumay 2003 2005) drsquoEveacutenements drsquoApprentissage Enseignement (EAE) expression choisie pour faire reacutefeacuterence au titre de lrsquoouvrage de Gagneacute et Briggs (1974) laquo Events of instruction raquo (repeacuterables dans le temps et dans lrsquoespace) Nous avons accru le nombre (8) de ces EAE Ils sont les composantes13 de ce que nous avons appeleacute en anglais un Learning Events Model ou LEM (Leclercq amp Poumay 2005) Ces composants et les principes du LEM ont eacuteteacute deacutecrites ailleurs (Leclercq amp Poumay 2008 teacuteleacutechargeable agrave httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

13 Dessins extraits de Leclercq et Poumay (2004) ducircs agrave Roland Manigard du LabSET-IFRES-ULg

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 17: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 17

J Les Activiteacutes de formation atomes et moleacutecules En chimie agrave partir de quelques atomes (plus drsquoune centaine) il est possible de constituer une infiniteacute de moleacutecules autrement dit de combinaisons regroupables en laquo familles raquo les gaz rares les lanthanides les meacutetaux les acides etc En peacutedagogie les Eveacutenements drsquoApprentissage Enseignement (EAE) sont comparables agrave des atomes que lrsquoon peut combiner pour former des meacutethodes en nombre infini Ces meacutethodes sont elles aussi regroupables en laquo familles raquo parce que preacuteciseacutement ayant des laquo atomes raquo ou des configurations laquo moleacuteculaires raquo communes En anglais nous avons appeleacute ce Pour deacutecrire des meacutethodes au moyen du LEM on peut demander agrave chaque professeur drsquoestimer le temps consacreacute par lrsquoeacutetudiant moyen pour les diverses EAE de son cours On peut aussi (voir illustration ci-apregraves) le demander agrave chaque eacutetudiant ce qui permet de calculer pour chaque EAE une moyenne et un eacutecart-type On peut enfin observer des eacutetudiants en classe ou noter les traces de leur travail agrave domicile ou de leurs consultations14 ou interventions sur des forums etc Par exemple dans une eacutetude (Leclercq et Glowacki 2005) meneacutee en vue de quantifier le taux de participation drsquoeacutetudiants dans un cours en grand groupe (agrave lrsquoaide des indices TOPACMER) 8 professeurs avaient eacuteteacute ameneacutes agrave deacutecrire en termes des eacuteveacutenements drsquoapprentissage leurs meacutethodes (13 au total car certains professeurs utilisent des meacutethodes leacutegegraverement voire radicalement diffeacuterentes selon les cours) que lrsquoon peut consideacuterer comme des variantes les unes des autres

14 On appelle laquo lurkers raquo (observateurs) les eacutetudiants qui consultent les forums mais nrsquoy interviennent pas

32

8 Professeurs ont deacutecrit 13 meacutethodes

Exemple 1

EveacutenementsdrsquoApprentisage

Exemple 2Es preacuteparenten petit groupeune matiegravere preacutecise

P reacuteexplique si certainspoints pas compris

P pose des questions

agrave la classe

P fait un exposeacute oral supporteacute par des images

(dias PPT) P corrige le travailDiscussion et drsquoune seacuteance questions-reacuteponses avec le professeur

Es preacutesentent agrave la classe

Es creacuteent un exposeacute

avec consignes et bibliograhie conseilleacutees

Les Es posent des questions

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 18: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 18

On peut en plus visualiser lrsquoimportance de chaque EAE par exemple en heures de travail pour lrsquoapprenant uniteacute de base des calculs drsquoECTS en rappelant la meacutetaphore des moleacutecules) le poids de chaque EAE (comme le sont les moleacutecules par ex H2SO4) K La Radiographie du dispositif de formation Avant drsquoentrer dans les deacutetails donnons une vue drsquoensemble (aeacuterienne) des zones concerneacutees et de leurs fonctions Une telle preacutesentation (radiographie) vise agrave donner du dispositif de formation une image syntheacutetique reacutesumeacutee en une seule page (synoptique) quitte agrave ce que cette page soit tregraves grande Le but ultime eacutetant drsquoen faciliter lrsquoanalyse

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Dureacutee Activiteacutes30 A Exposeacute oral (15) repris dans le Guide du syllabus (15)

sur les objectifs meacutethodes et eacutevaluations du cours20 B1 Expeacuterience collective de choix dune activiteacute 20 B2 Exposeacute du modegravele de Viau sur la motivation 30 B3 et hypothegraveses sur les donneacutees recueillies 20 B4 Analyse des choix et analyse des donneacutees 15 B5 Deacutebat

C1 Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) 60 C2 spontaneacutee (avant formation theacuteorique) (15)

400 C3 Preacutesentation theacuteorique (100) 80 C4 Analyse informeacutee de ce mecircme cas Deacutebat (20)

(4 cas dans matiegraveres diffeacuterentes)120 D1 Projection du film Leacutecole buissonniegravere(120) Deacutebat (30)

30 D2 deacutebat15 E Deacutemonstration (le plongeon) sur eacutetudiants du principe

de linternalisation des critegraveres de correction 60 F Simulation dun examen par QCM SGI et D de certitude

(12 QCM SGI en amphi + correction immeacutediate)1980 G Lecture agrave domicile des Enjeux des Textes des (33h)

Teacutemoignages Pistes dintervention Preacutepa examensH Test formatif (sur WebCT) sur cerveau (optionnel)

ACF An cas frac 2880Leacutetudiant ( e) 3124 Eveacutenement DENSEIGNEMENT LencadrantObserve 120 15 20 20 G 175 deacutemontre sert de (ou fournit un) modegraveleReccediloit (exposeacute) H 90 90 330 CG 50 2 2 10 2 2 5 10 2 595 expose Reccediloit (lecture) 240 240 600 300 300 300 1980 a eacutecrit ou choisi des textesPratique H 15 15 30 60 60 180 coache preacutepare soutient corrige commenteExplore 0 a preacutevu des ressources (des personnes) accesibles Experimente 55 40 95 a poseacute un problegraveme met sur la voie observeCreacutee 3 3 3 9 soutient conforte critiqueDeacutebat 10 10 20 30 70 anime modegravereMeta-cognition 20 20 co-reacutefleacutechitACF An cas frac X X X X X X X 40 Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 Souvenirs solliciteacutes par la theacuteorie ECJI Innovation X X X X X X X X 30 Conception et Justification dune innovation suite agrave problegravemeVquestionnaire final X 0 Atraces e-tests et forums X X 0 LQCM 0 Pas utiliseacutes cette anneacutee SQCL 0 Pas utiliseacutes cette anneacuteeMoyennes en 81 77 79 98 97 66 100

Ecarts-types en 15 21 11en juin 2008

Compeacutetences SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

METHODES

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

Contexte Cours de Psychologie eacuteducationnelleProf D Leclercq274 eacutetudiantsdes 9 faculteacutes6 seacuteances de 2h30 chacune

De octobre 2007agrave deacutecembre 2007

Examen enjuin 2008

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 19: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 19

K1 La Radiographie des Preacutesages ou du Plan (des Concordances) Une radiographie des Concordances (remarquez le pluriel) vise agrave repreacutesenter les relations multiples entre les Objectifs (reacutepartis selon la pyramide des compeacutetences ou selon drsquoautres cateacutegories) les Meacutethodes (ou plus exactement les Activiteacutes et leur traduction en termes drsquoEveacutenements drsquoApprentissage Enseignement) les meacutethodes drsquoEvaluation et les Reacutesultats (aux examens par exemple) Dans lrsquoexemple ci-apregraves il ne srsquoagit encore que du dispositif planifieacute (drsquoougrave lrsquoexpression laquo Preacutesages raquo) et qui pourrait changer lors de lrsquoexeacutecution Le professeur (ou lrsquoeacutequipe des encadrants) reste libre eacutevidemment agrave partir de cette partition qursquoil srsquoest eacutecrite lui-mecircme drsquoimproviser en fonction des circonstances favorables ou deacutefavorables de la possibiliteacute ou non de reacutealiser certains plans voire de les deacutepasser au-delagrave des espeacuterances De mecircme la planification fait des laquo hypothegraveses raisonnables raquo (educated guesses) sur le comportement des eacutetudiants La section M traitera de leur implication reacuteelle Voici une telle repreacutesentation synoptique ou Radiographie COMER pour le cours de Psychologie Educationnelle agrave lrsquoAgreacutegation que nous donnons agrave lrsquouniversiteacute de Liegravege (Leclercq et al 2008) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) 1 Eveacutenement DENSEIGNEMENT LencadrantImite D E G G G 0 x deacutemontre sert de (ou fournit un) modegraveleReccediloit H G G CG CG CG A A A A A G A A 0 x expose a eacutecrit ou choisi des textesPratique H CF CF CF C F 0 x coache preacutepare soutient corrige commenteExplore 0 x a preacutevu des ressources (des personnes) accesibles Experimente B F 0 x a poseacute un problegraveme met sur la voie observeCreacutee 0 x soutient conforte critiqueDeacutebat B 0 x anime modegravereMeta-cognition F 0 x co-reacutefleacutechitACF An cas frac X X X X X X X 40 x Analyse de cas fractionneacuteeSST Souvenir soll X X X X X X X X X 30 x Souvenirs solliciteacutes par la theacuteorie E

CJI Innovation X X X X X X X X 30 x Conception et Justification dune innovation suite agrave problegraveme V

questionnaire final X 0 x A

traces e-tests et forums X X 0 x L

QCM x Pas utiliseacutes cette anneacutee SQCL x Pas utiliseacutes cette anneacutee

Reacutesultats y y y y y y y y y y y y y y y y y U

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Juge

(D

egreacute

s de

cer

titud

e) la

per

tinen

ce d

e se

s reacute

pons

es

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

esConcordance

METHODES

Activiteacute A Exposeacute oral (15) repris dans le Guide du syllabus 15) sur les objectifs meacutethodes et eacutevaluations du cours Activiteacute B Expeacuterience collective de choix dune activiteacute (20) Exposeacute (20) du modegravele de Viau sur la motivation au choix et hypothegraveses (a posteriori) sur les donneacutees deacutejagrave recueillies (30) Analyse des choix et analyse des donneacutees (20) Deacutebat (15) Activiteacute C Entraicircnement agrave l Analyse de Cas Fractionneacutee (ACF) spontaneacutee (avant formation theacuteorique) (15) Preacutesentation theacuteorique (100) Analyse informeacutee de ce mecircme cas Deacutebat (20) (4 cas dans matiegraveres diffeacuterentes) Activiteacute D umlProjection du film Leacutecole buissonniegravere(120) Deacutebat (30) Activiteacute E Deacutemonstration (le plongeon les jambres droites) sur eacutetudiants du principe de linternalisation des critegraveres de correction (15) Activiteacute F Simulation dun examen par QCM SGI et Degreacutes de certitude (12 QCM SGI en amphi + correction immeacutediate) (60)Activiteacute G Lecture agrave domicile des Enjeux des Textes des Teacutemoignages des Pistes dintervention Preacutepa examens (33h) Activiteacute H Test sur WebCT sur ses connaissances sur le cerveau suivi des reacuteponses correctes commenteacutees (opt)

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Juge

(D

egreacute

s de

cer

titud

e) la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Libelleacute des activiteacutes qui seront reprises dans la zone laquo concordances raquo du tableau

Zones de concordance entre activiteacutes (8 lignes du dessus) et Objectifs (en vertical) et entre

eacutevaluations (lignes du dessous) et Objectifs

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 20: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 20

K2 La construction de cette Radiographie des concordances suit les principes suivants -Verticalement les 3 compeacutetences (en gras) les Objectifs (ou ressources contributives) qui y concourent (en corps de lettres simples) et les compeacutetences transversales (deacutecomposeacutees selon les trois eacutetages laquo transversaux raquo de la pyramide des compeacutetences -Dans le coin supeacuterieur droit les activiteacutes (lrsquoactiviteacute C en gras eacutetant la plus freacutequente ou la dominante) -Horizontalement -Les eacuteveacutenements dapprentissage (en 8 lignes une par EAE) On reporte dans les cellules approprieacutees des lignes laquo Eveacutenements drsquoApprentissage raquo les codes (ABCDhellip) des activiteacutes Parfois plusieurs activiteacutes sont mentionneacutees dans la mecircme cellule Une version plus sophistiqueacutee de la grille une Radiographie laquo Temps raquo consisterait agrave indiquer les dureacutees ce qui permettrait drsquoeacutetablir les importances vraiment consacreacutees agrave chaque EAE qui constitueraient les valeurs des x en colonne marginale du tableau -Les modes deacutevaluation privileacutegieacutes15 Ici on srsquoest contenteacute de noter drsquoune croix X sur quel objectif porte chaque meacutethode drsquoeacutevaluation On voit qursquoil nrsquoest pas rare qursquoune meacutethode drsquoeacutevaluation porte sur plusieurs objectifs agrave al fois Dans la colonne agrave la droite du tableau figurent les poids respectifs (en ) des meacutethodes drsquoeacutevaluation dans la note finale -Les reacutesultats La derniegravere ligne (les y) du tableau qui constitue la radiographie des concordances reprendra les reacutesultats (quand ils ont eacuteteacute mesureacutes) objectif par objectif En fait on le verra dans la section K ci-apregraves il srsquoagit de PLUSIEURS lignes une mentionnant les moyennes une autre les eacutecarts-types etc K2 Lrsquoanalyse drsquoune radiographie laquo Preacutesage raquo des Triples Concordances Une fois en preacutesence drsquoune radiographie des concordances les questions suivantes meacuteritent drsquoecirctre poseacutees (lrsquoordre peut ecirctre modifieacute en fonction de ce que lrsquoon cherche du problegraveme qui est agrave reacutesoudre) A des fins drsquoillustration nous reacutepondrons aux questions (valables pour toutes les situations) pour lrsquoexemple (drsquoUN COURS et non drsquoun curriculum) qui a eacuteteacute fourni ci-avant Q1 Quels sont les objectifs Et tout speacutecialement le cours vise-t-il agrave contribuer agrave des

compeacutetences les laquo transversales Ici oui dans les trois niveaux (instrumental ou deacutemultiplicateur auto-cognitif ou meacutetacognitif dynamique ou drsquoengagement ou motivationnel) de compeacutetences transversales

Q2 Tous les Objectifs sont-ils entraicircneacutes Si non pourquoi certains ne le sont-ils pas

Ici non Pour lrsquoauto-estimation de ses compeacutetences est juste une piste illustreacutee au cours mais non entraicircneacutee qui pourtant est incluse dans lrsquoeacutevaluatio et ce parce que le professeur a estimeacute qursquoapregraves 4 anneacutees (au moins) drsquouniversiteacute ces eacutetudiants eacutetaient suffisamment capables drsquoauto-estimation de leurs capaciteacutes dans une matiegravere Idem pour lsquoimage que lrsquoeacutetudiant se fait de lrsquoenseignement et de sa fonction Et ce parce que le professeur a voulu que cet impact soit indirect via les objectifs activiteacutes et meacutethodes drsquoeacutevaluation Le questionnaire drsquoavis des eacutetudiants sur le cours (Delcomminette 2008) vise notamment agrave mesurer cet impact indirect

15 Contrairement agrave ce que nous avons fait pour les meacutethodes de formation ougrave nous avons preacutevu une ligne pour chacun des EAE pour lrsquoeacutevaluation nous avons choisi de ne pas fournir de liste preacuteeacutetablie car elle risquerait drsquoecirctre longue drsquoautant plus que nous ne disposons pas (encore) drsquoun modegravele correspondant agrave celui des EAE

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 21: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 21

Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils Par des meacutethodes de formation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici eacutetant donneacute le handicap que constitue la taille de lrsquoauditoire (plus de 300 eacutetudiants) mais aussi lrsquoavantage que constitue les qualiteacutes intellectuelle et motivationnelle de ce mecircme auditoire (des universitaires faisant vocation drsquoenseignement16) les encadrants ont deacutecideacute (1) de donner une vision globale et motivante du cours lors des 6 seacuteances preacutesentielles assez interactives avec forte une composante laquoobservation-imitation raquo (2) de laisser srsquoeffectuer lrsquoassimilation deacutetailleacutee des contenus par lrsquoeacutetude personnelle agrave domicile et (3) de concevoir une eacutevaluation forccedilant agrave la meacutetareacuteflexion sur base des acquis nouveaux Les meacutethodes de formation retenues ont-elles eacuteteacute appliqueacutees avec une intensiteacute

suffisante Ici lrsquoactiviteacute C a eacuteteacute reacutepeacuteteacutee plusieurs fois Lrsquointensiteacute drsquoengagement dans lrsquoactiviteacute H a eacuteteacute laisseacutee agrave lrsquoappreacuteciation de chacun Elle comptait non seulement sur une motivation interne mais aussi externe car preacuteparatoire agrave la partie preacutesentielle de lrsquoexamen

Q3 Tous les objectifs sont-ils eacutevalueacutes Si non pourquoi certains ne le sont-ils pas

Ici reacutepondre agrave des QCM SGI (note 2) nrsquoa pas eacuteteacute eacutevalueacutee par manque de temps pour y preacuteparer les eacutetudiants neacuteanmoins ce contenu a eacuteteacute abordeacute laissant chacun libre de lrsquoapprofondir plus tard Si oui (condition neacutecessaire mais non suffisante) comment le sont-ils par des meacutethodes drsquoeacutevaluation reacuteputeacutees (par la litteacuterature) adapteacutees agrave ces objectifs Ici les objectifs ont eacuteteacute eacutevalueacutes par trois eacutepreuves Deux eacutepreuves de reacuteflexion (SST et CJI) pouvant ecirctre preacutepareacutees agrave domicile et (forceacutement) agrave Livres Ouverts La troisiegraveme mesurait la capaciteacute de reacutefleacutechir et reacuteagir dans la semi-urgence et sans ressources eacutecrites ou humaines Dans les trois cas lrsquoexpression personnelle a eacuteteacute privileacutegieacutee la tregraves grande majoriteacute des questions eacutetaient ouvertes et demandaient des reacuteponses construites semi-longues (plusieurs demi-pages) donc un travail de correction gigantesque pour les encadrants avec une intensiteacute suffisante des meacutethodes drsquoeacutevaluation retenues Ici cette intensiteacute eacutetait mecircme excessive tant pour les eacutetudiants que pour les correcteurs Il est envisageacute de diminuer la pression eacutevaluative lrsquoan prochain

Q4 Quelle est la recherche de rationalisation Certaines activiteacutes mettent-elles en jeu plusieurs

EAE et plusieurs objectifs Ici les activiteacutes B D E F et H ont porteacute sur un seul objectif Les activiteacutes A C G elles visaient agrave toucher plusieurs objectifs Il manque une ligne au tableau le debriefing immeacutediatement apregraves lrsquoexamen Il nrsquoa pas eu lieu parce que non preacutevu eacutetant donneacute les contraintes horaires et de reacuteservation des amphitheacuteacirctres Il a cependant eu lieu par internet et ce fut un moyen (un peu improviseacute) de poursuivre un objectif eacutepisteacutemologique (du dernier eacutetage de la pyramide des compeacutetences) laquo Se situer par rapport agrave la connaissance psycho-peacutedagogique raquo (Sur quelles bases une theacuteorie est-elle fiable et les experts quel poids peut avoir un novice dans un deacutebat face aux experts sur quelles bases accepter des hypothegraveses mecircme provisoires

Q5 Deacuteontologie La charge de travail correspond-elle au total preacutevu dans le cahier des

charges Dans les engagements peacutedagogiques (Plan de cours) et le programme officiel ce course laquo pegravese raquo 2 creacutedits (ou ECTS) donc chaque creacutedit pesant 24h le cours demande 48 heures de travail agrave lrsquoeacutetudiant moyen La dureacutee totale des 6 seacuteances (de 150 minutes chacune) en preacutesentiel est ici de 900 minutes (15h) Avec les 33h agrave domicile le total de travail des eacutetudiants est 48h (2 creacutedits)

16 Lors de lrsquoenquecircte drsquoavis reacutealiseacutee par S Delcomminette (2008) la tregraves grande majoriteacute des eacutetudiants de la cohorte 2007-2008 a deacuteclareacute avoir entrepris ces eacutetudes par volonteacute de perfectionnement professionnel et pas simplement pour augmenter ses possibiliteacutes drsquoemploi

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 22: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 22

L La radiographie du Processus Par laquo processus raquo nous entendons laquo Ce qui srsquoest reacuteellement passeacute raquo Entre ce qui a eacuteteacute planifieacute et ce qui srsquoest passeacute il peut y avoir en effet de grandes diffeacuterences Un peu comme un voyage de vacances en automobile Mecircme si on a anticipeacute par des plans deacutetailleacutes les itineacuteraires et lrsquohoraire on peut ecirctre ameneacute agrave improviser des deacutecisions de parcours des lieux drsquoarrecirct sans parler des rencontres fortuites Alors pourquoi planifier si crsquoest pour changer en cours de route Parce que comme au theacuteacirctre de rue une improvisation a drsquoautant plus de valeur ajouteacutee qursquoelle se greffe sur un canevas bien penseacute agrave lrsquoavance et qui lui nrsquoaurait pas pu ecirctre improviseacute (du moins par la tregraves grande majoriteacute des formateurs) Crsquoest le processus reacuteel et non le planifieacute qui influencera lrsquoapprentissage Qursquoont-ils fait Voici (graphique de gauche) les moyennes ces reacutepartitions drsquoEveacutenements drsquoApprentissage tels que les eacutetudiants drsquoun cours donneacute agrave Aoste (Leclercq et Denis 2001) les ont exprimeacutees en reacutepondant agrave la question laquo Jrsquoai appris en consacrant les 100 de mon temps drsquoapprentissage comme suit Impliqueacutes agrave quel degreacute de profondeur On peut aussi srsquointeacuteresser au degreacute drsquoimplication mentale des eacutetudiants lors drsquoune (ou plusieurs) seacuteance(s) de cours Le graphique de droite ci-dessus montre les reacuteponses moyennes que les eacutetudiants ont donneacutees pour deux seacuteances de cours en grand amphitheacuteacirctre (Leclercq et Glowacki 2005) aux questions suivantes inspireacutees du modegravele TOPACMER (Leclercq 1998 p 166-167) TO (Taux drsquooccupation) A quel des cours

assistez-vous P oral Pour quel du temps des exposeacutes

participez-vous (ecirctes-vous concentreacute sur) mentalement

P groupe Pour quel du temps de travail en groupe participez-vous mentalement

P synthegravese Pour quel du temps de synthegravese par le professeur participez-vous mentalement A (Active) Pour quel des questions poseacutees (reacutesolution de problegraveme) essayez-vous de trouver la

reacuteponse C (Complegravete) Pour quel des questions difficiles avez-vous lrsquooccasion drsquoaller jusqursquoau bout de

votre raisonnement et de trouver une reacuteponse M (Manifeste) Quand le professeur demande que lrsquoon reacuteponde dans quel des fois demandez-vous

agrave reacutepondre E (Exprimeacutee) Quand le professeur pose une question dans quel des fois vous deacutesigne-t-il pour

reacutepondre FB+ Dans quel des questions poseacutees par le professeur recevez-vous de lui un Feedback positif

pour votre reacuteponse Augmenter certains des indices TOPACMER peut ecirctre un objectif meacutediateur (portant sur les meacutethodes) dans le but drsquoatteindre les objectifs finaux (ameacuteliorer les acquis ou le plaisir de travailler)

75 en regardant

93 en eacutecoutant

12 en exeacutecutant

13 en demandant

12 demande on line

97 en lisant44 en essayant

455 en creacuteant

84

65

30

17

10

7272

6

15

31

46

6463

6973

64

0

10

20

30

40

50

60

70

80

90

100

TOP o

ral

P Gro

upe

P Syn

th A C M EFB+

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 23: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 23

Qursquoen pensent-ils Voici un exemple drsquoavis des eacutetudiants sur le processus A lrsquouniversiteacute de Liegravege les eacutetudiants sont ameneacutes en fin drsquoanneacutee agrave donner leur avis reacutetrospectifs sur les enseignements en reacutepondant agrave un questionnaire EVALENS (Evaluation des Enseignements) drsquoune vingtaine de questions le mecircme pour toutes les faculteacutes et sections Voici concentreacutes en un seul graphique (SMART 1999) les reacuteponses de milliers drsquoeacutetudiants de la cohorte 1998-99 ayant reacutepondu agrave la question laquo Le cours oral est bien structureacute raquo Jusqursquoougrave preacuteciser Les questions de recueil des avis des eacutetudiants sur les Processus (poseacutees PENDANT ou PEU APRES la formation) sont souvent combineacutees avec des questions sur les Preacutesages (qui peuvent ecirctre poseacutees AVANT la formation) ou les Produits (qui pourraient ecirctre poseacutees longtemps APRES la formation) leur estimation de la qualiteacute porte sur -Les objectifs leur pertinence perccedilue (Preacutesage) leur communication ou rappel lors de la formation

(Processus) et leur atteinte perccedilue (Produit) -Les meacutethodes leur pertinence perccedilue (Preacutesage) leur mise en œuvre et le plaisir ressenti (Processus)

leur contribution agrave lrsquoefficaciteacute (Produit) -Les eacutevaluations leur pertinence et leur eacutequitabiliteacute perccedilues (Preacutesages) leur mise en œuvre

(Processus) et leur impact sur les acquis (Produit) Faut-il expliquer aux eacutetudiants les efforts de concordances bref le cœur de la radiographie (les cellules centrales) avant drsquoavoir recueilli leur avis critique Crsquoest srsquoexposer agrave des reacuteponses de deacutesirabiliteacute sociale (les eacutetudiants risquent de reacutepondre ce qursquoils perccediloivent comme faisant plaisir agrave lrsquoenseignant) Apregraves lrsquoexpression (anonyme ) des avis lrsquoenseignant doit pouvoir justifier ses objectifs ses actions et ses reacutesultats et la radiographie des concordances peut lrsquoy aider puissamment Quels efforts font-ils hors seacuteances de cours Parmentier et al (1991) citeacute par Boxus (1993 chap 3 p 18-19) rendent compte des reacuteponses drsquoeacutetudiants universitaires primants et reacutepeacutetants quant agrave la dureacutee de leur eacutetude agrave domicile Besanccedilon et Joly (1976) dans leur enquecircte aupregraves drsquoeacutetudiants de meacutedecine de Paris signalent que laquo Les bibliothegraveques sont freacutequenteacutees par 85 des eacutetudiants et les conditions sont jugeacutees deacutefavorables par 56 manque de place (81) de silence (91) drsquoair respirable (52) eacutetroitesse des horaires (38) et manque de documents courants (38) Saunders et al (1985) citeacute par Albanese et Mitchell (1993 p 62) observent un e Ampleur drsquoEffet de 095 quant agrave la dureacutee drsquoeacutetdues en faveur du PBL par rapport agrave la meacutethode traditionnelle de former les eacutetudiants en meacutedecine 102 des 274 ne se sont pas precircteacutes au jeu en ligne 24 des 274 ont reacutealiseacute 1 ACF en ligne 3 des 274 ont reacutealiseacute 2 ACF en ligne 145 ont reacutealiseacute 3 ACF en ligne SOIT 172274 qui ont au moins reacutealiseacute un entraicircnement en ligne Quel est lrsquoavis des encadrants sur le processus LrsquoIFRES et Formasup agrave lrsquouniversiteacute de Liegravege recueillent systeacutematiquement les avis des encadrants sur les processus de formation Un tel avis devrait toujours accompagner celui des eacutetudiants

Le cours oral est bien structureacutehellip

1

2

7

5

9

13

15

2 1

2 0

6

1 1

6

8

17

12

19

17

15

4

0

5

10

15

2 0

2 5

1 2 3 4 ( I G) 5 ( I ) 6 ( F) 7 ( S) 8 ( D) 9 ( GD) 10 ( PGD)

E chel l e qual i t a t i ve ( de 1 agrave 10)

1deg cycle DroitEGSS M eacuted VTPhilo Psy Sc =389 cours

2deg cycle Droit EGSS M eacuted VT =211 cours

Donneacutees EVALENS ULG 1998-1999 (SMART-ULG)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 24: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 24

M La radiographie des caracteacuteristiques des eacutetudiants agrave lrsquoentreacutee (INPUTS) Fidegravele au modegravele CIPP de Stufflebeam et al (1971) nous donnons drsquoabord un exemple de mesure de connaissances A LrsquoENTREE On peut exprimer les performances drsquoune personne ou (ici) drsquoun groupe par la reacutepartition (dispersion) des qualiteacutes spectrales (Leclercq 2003) tenant compte de lrsquoexactitude (partie droite du graphique) et de lrsquoinexactitude des reacuteponses (partie gauche du graphique et des omissions (centre du graphique) Les degreacutes de qualiteacute ou de non-qualiteacute deacutependent des Degreacutes de Certitude donneacutes par les eacutetudiants pour accompagner chacune de leurs reacuteponses Ces Degreacutes de Certitude sont au nombre de six O 20 40 60 80 100 (Leclercq 1982) Voici (Leclercq 2003 p 80) les qualiteacutes spectrales (en ) des 55858 reacuteponses fournies par 2539 eacutetudiants (entrant dans les universiteacutes de la communauteacute franccedilaise de Belgique) agrave un test de matheacutematiques de 22 questions On constate que 56 des connaissances sont laquo utilisables raquo (correctes avec une certitude supeacuterieure agrave 50) 18 nuisibles (incorrectes avec une certitude supeacuterieure agrave 50) et 26 inutilisables (pas suffisamment sucircres pour qursquoelles soient utiliseacutees dans la pratique par la personne On peut aussi calculer (pour un individu ou ici pour un groupe) les Indices de Confiance (Certitude moyenne avec Reacuteponses Correctes) ici 80 drsquoImprudence (Certitude moyenne avec Reacuteponses Incorrectes) ici 55 et de Nuance (diffeacuterence entre les deux) ici 25 On peut aussi calculer pour chaque personne et pour chaque eacutepreuve son Erreur Moyenne de Centration ou EMC (Leclercq 2003 p 38) obtenue par la diffeacuterence entre sa Certitude moyenne (CM) et son Taux (objectif) drsquoExactitude (TE) moyen donc par EMC = TE ndash CM Il y a surestimation quand EMC gt0 et sous-estimation quand EMClt0 Voici par exemple la reacutepartition des EMC de 3801 eacutetudiants ayant passeacute un test de vocabulaire de 45 questions (Leclercq 2003 p 73) agrave lrsquoentreacutee de lrsquouniversiteacute On constate comme dans la litteacuterature une laquo tendance agrave la surestimation (la barre verticale du laquo Reacutealisme par centration raquo indique EMC = 0 Bien drsquoautres mesures laquo agrave lrsquoentreacutee raquo (Input) pourraient ecirctre prises dans la motivation des eacutetudiants (agrave comprendre agrave performer ) dans leur maturiteacute vocationnelle dans leurs repreacutesentations sociales leur volition etc

7 5 6 4 4 5 3 4 2 38

12

36

0

10

20

30

40

50

-100 -80

-60

-40

-20 0

om

0 20 40 60 80 100

18nuisibles

56utilisables

26inutilisables

0

100

200

300

400

500

600

-45

-35

-25

-15 -5 5 15 25 35 45

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 25: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 25

N La radiographie des Reacutesultats des eacutetudiants agrave la sortie (OUTPUTS) Voici la distribution des performances (entre 0 et 20 points) de 340 eacutetudiants dans trois objectifs drsquoun cours de premiegravere anneacutee universitaire (Leclercq et al 2006) -LF QCL = Examen agrave Livres Fermeacutes par des QCL ou Questions agrave Choix large (Leclercq 2005 chap

4) mesurant la meacutemorisation -LO SGI = Examen agrave Livres Ouverts par QCM agrave Solutions Geacuteneacuterales Implicites (Leclercq 2006)

mesurant la compreacutehension lrsquoapplication et lrsquoanalyse -QRO = Examen agrave Livres Fermeacutes mesurant la capaciteacute de synthegravese dans le sens de laquo formulation

reacutedaction expression raquo On le voit les 6 niveaux de la taxonomie de Bloom sont repreacutesenteacutes dans la mesure ougrave lrsquoeacutevaluation (ou plutocirct un de ses aspects lrsquoauto-eacutevaluation) est mesureacutee par les Degreacutes de Certitude Conformeacutement aux attentes la meacutemorisation est la mieux reacuteussie suivie par la synthegravese et que la compreacutehension en profondeur lrsquoapplication et lrsquoanalyse mesureacutees par les Solutions Geacuteneacuterales Implicites (SGI) auxquels les eacutetudiants ne sont pas habitueacutes sont tregraves mal reacuteussis A lui seul ce volet ferait eacutechouer 80 des eacutetudiants (la laquo barre eacutetant agrave 12) Nous avons calculeacute le score final par la moyenne des trois estimant que lrsquoanalyse prendrait des anneacutees pour se deacutevelopper (ce qui est confirmeacute par les reacutesultats de lrsquoanneacutee suivante) Ces dispariteacutes de reacutesultat srsquoobservent aussi sur leur versant laquosubjectif raquo de la qualiteacute des reacuteponses (les Degreacutes de Certitude) Voici la superposition des distributions spectrales des reacuteponses agrave deux tests (LO et LF) passeacutes le mecircme jour par les mecircmes eacutetudiants(Leclercq et al 2006)

Examen du 19 janvier 2006 (N = 340)

0

10

20

30

40

50

60

70

80

0 2 4 6 8 10 12 14 16 18 20scores obtenus

LOSGIM=8

LFQCLM = 16

QROM=14

0

5

10

15

20

25

30

35

40

-100 -80 -60 -40 -20 -0 OM +0 +20 +40 +60 +80 +100

d

e reacute

pons

es

LO

LF

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 26: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 26

On peut effectuer drsquoautres mesures de Produit que sur la Cognition Notamment en comparant les reacutesultats agrave court terme (post-test immeacutediat) et agrave long terme (post-test diffeacutereacute) en matiegravere drsquoAffectiviteacute de Savoir-Faire drsquoImage de soi de Deacutecision et positionnement (eacutepisteacutemologique par exemple)

Dispersion des notes objectives (reacutesultat agrave leacutepreu ve certificative) aux eacuteperuveshellip SST ACF amp CJI (N = 274)

30 1 1 2 4

16

27

49

129

51

0 0 0 1 2

16

34

72

102

47

1 1 26

47

8

42

93

56

0

22

5

0

10

20

30

40

50

60

70

80

90

100

110

120

130

140

0 10 20 30 40 50 60 70 80 90 100

Note en (regroupeacutees en classes de 10)

N eacute

tudi

ants

SST allo - Moyenne = 8094 (ET = 15)

ACF allo - Moyenne = 7949 (ET = 11)

CJI allo - Moyenne = 7713 (ET = 21)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 27: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 27

O Les mesures drsquoimpact (de gains drsquoavis) Quand on peut disposer de mesures drsquoentreacutee (PRETESTS) et de sortie (POST-TESTS) on peut mesurer les gains en eacutevolution intra-cohorte Le danger de cette comparaison deacutenonceacute par Stanley et Campbell (1966 citeacute par Leclercq 2005) concerne la validiteacute interne les modifications observeacutees sont-elles dues agrave lrsquoapprentissage ou agrave drsquoautres facteurs (la maturation la diffeacuterence entre les tests drsquoentreacutee et de sortie lrsquoeffet laquo preacutetest raquo etc) bref agrave lsquoautre hypothegraveses concurrentes On peut mesurer cette eacutevolution au moyen de Gains (par exemple au moyen de lrsquoAmpleur de lrsquoEffet ou AE) et de Gains Relatifs (GR) ou de Pertes Relatives (PR) si les donneacutees ont respectivement un plafond et un plancher) Dans lrsquoexemple ci-dessous (Leclercq 2005 chap 7 p 13) les reacutesultats agrave un preacute et un post-tests sur la mecircme matiegravere (grammaire franccedilaise) aupregraves des mecircmes (12) eacutelegraveves de lrsquoenseignement primaire montrent un Gain Moyen de 25 (655-405) sur un Gain Possible de 595 (100-405) donc un Gain Relatif de 42 On peut aussi proceacuteder agrave des comparaisons inter-cohortes Voici les reacutesultats compareacutes de deux cohortes ayant suivi notre cours drsquoIntroduction aux Sciences de lrsquoEducation den premiegravere anneacutee de la faculteacute de Psychologie et Sciences de lrsquoEducation de lrsquouniversiteacute de Liegravege (Leclercq 2007) Lors de lrsquoanneacutee 2007-2008 les eacutetudiants ont pu beacuteneacuteficier de trois eacutepreuves drsquoentraicircnement (examens simuleacutes et travail meacutetacognitif approfondi) complegravetes avant lrsquoexamen proprement dit alors qursquoun seul avait eacuteteacute organiseacute en 2006-2007

NE Conf Impr Nuance Classique + Meacuteta ET AE2006-2007 350 64 44 20 76 9 437 09612007-2008 333 66 51 15 117 132 Ne disposant pas de preacutetest sur la matiegravere nous ne pouvons calculer de Gain (ni de gain relatif) Le score classique moyen est de 41 points (sur 20) supeacuterieur (117-76) Le score avec laquo bonus meacutetacognitifs raquo (Leclercq 2008) est de 42 points supeacuterieur LrsquoAmpleur de lrsquoEffet (calculeacute par la formule de Glass 1971 agrave savoir M2-M1) S1

Ougrave M1 = Moyenne (des scores avec bonus Meacutetacognitifs) de la cohorte 2006-2007 M2 = moyenne de la cohorte 2007-2008 ET = Ecart-Type des notes de 2006-2007

Pour interpreacuteter lrsquoAmpleur nous renvoyons aux travaux de Pascarella et Terenzini (1990 et 2005) de Leclercq et van der Vleuten (1998 p 203) et umlPoumay (2006)

G1

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10 11 12

Elegraveves par ordre (croissant) de leurs reacutesultats au preacutetest

G1 PRE= 405 (48)

G1 POST= 656 (58)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 28: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 28

Le tableau peut srsquoallonger (dans le bas) de plusieurs lignes indiquant les valeurs numeacuteriques (repreacutesenteacutees ici par le signe ) suivantes les Nombres drsquoeacutetudiants les valeurs Moyennes les Ecarts-Types et ce pour les Preacutetests (absents dans notre exemple) les Post-tests (preacutesents mais en cours de calcul dans notre exemple du cours de Psychologie eacuteducationnelle ) les Gains les Gains Relatifs et lrsquoAmpleur drsquoEffet (forceacutement absents dans notre exemple puisque nous nrsquoavons pas de preacutetests) D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Nbre EsM Post diffeacutereacuteET Post diffeacutereacute

Nbre dEs Moy Gains indivET Gains Indiv

Nbre dEs Moy Gains Rel indivET Gains Rel IndivAmpleur de lEffet

Impr

uden

ce (

Deg

reacutes

de c

ertit

ude)

dan

s la

per

tinen

ce d

e se

s reacute

pons

es

Impr

ude

nce

(Deg

reacutes

de c

ertit

ude)

dan

s la

preacute

cisi

on d

e se

s reacute

pons

es

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tions

Util

ise

les

QC

M S

GI

Prim

-Bis

et a

vec

Deg

reacutes

de C

ertit

ude

C

onna

icirct le

s fa

cteu

rs A

-S-C

-I-D

influ

enccedila

nt la

con

duite

SPECIFIQUES

Teacutel

eacutecha

rge

des

docu

men

ts

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

usConcordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Con

fianc

e (D

egreacute

s de

cer

titud

e) d

ans

la p

reacuteci

sion

de

ses

reacutepo

nses

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fianc

e (D

egreacute

s d

e ce

rtitu

de)

dans

la p

ertin

ence

de

ses

reacutepo

nses

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

Dans la marge de droite du tableau en colonne pourraient venir les pourcentages (repreacutesenteacutes ici par les lettres Z) de temps consacreacutes agrave chacun des Eveacutenements drsquoApprentissage (non disponibles dans notre exemple) Si on veut entrer dans plus de deacutetails encore on peut mentionner dans une ligne additionnelle agrave droite les valeurs moyennes (ici symboliseacutees par des w) drsquoune analyse telle que TOPACMER Cependant il faut isoler (drsquoougrave le cadre) cette analyse (qui relegraveve bien du volet laquo meacutethodes raquo) pour eacuteviter de laisser penser qursquoelle ne porte que sur UN Eveacutenement drsquoApprentissage-Enseignement (EAE) particulier car plusieurs EAE sont concerneacutes I Enfin il ne faut pas perdre de vue que les divers nombres sont agrave interpreacuteter chacun dans leur cadre de reacutefeacuterence (leurs minima et maxima possibles leurs valeurs satisfaisantes ou non etc)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 29: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 29

P Le transfert sur le terrain et lrsquoimpact ultime Ce laquo niveau 3 raquo des eacutevaluations (selon la classification de Kirkpatrick 1983) est rarement effectueacute En voici cependant quelques exemples Dans leur meacuteta-analyse Albanese et Mitchell (1993) relatent des diffeacuterences entre les eacutetudiants en meacutedecine formeacutes par lrsquoapproche PBL compareacutes aux eacutetudiants en meacutedecine formeacutes par les meacutethodes traditionnelles (Leclercq amp Van der Vleuten 1998 p 203) -quant agrave leur style drsquoapprentissage devenu plus laquo versatile raquo et plus laquosignificative raquo (en termes du Studying Inventory drsquoEntwistle 1981) observation rapporteacutee par Cole(1985) et Newble amp Clarke (1986) -quant agrave leur mode drsquoeacutetude plus baseacute sur la conceptualisation et moins sur la reproduction (Moore et al (1990) -quant agrave leur utilisation de la bibliothegraveque et autres ressources (Saunders et al 1985) On peut lancer des surveys papiers ou teacuteleacutephoniques pour savoir ce qursquoont fait les eacutetudiants de leurs acquis sur le terrain et sur quel terrain (car parfois les conditions ne permettent pas une utilisation des acquis) Lrsquoimpact ultime (sur les beacuteneacuteficiaires des services des professionnels) Lrsquoimpact drsquoune formation sur les beacuteneacuteficiaires (ultimes) des services professionnels ou sur les reacutesultats de lrsquoentreprise qui emploie les formeacutes fait lrsquoobjet de peu de travaux publieacutes pour deux raisons Tout drsquoabord il est difficile de suivre les laquo formeacutes raquo dans la multitude drsquoinstitutions ougrave ils ont trouveacute du travail Ensuite parce qursquoil est difficile drsquoattribuer agrave la formation les reacutesultats drsquoune institution drsquoune entreprise car souvent ces reacutesultats sont influenceacutes par bien drsquoautres facteurs Il existe pourtant des exemples Ainsi quand les meacutedecins ont laquo compris raquo le message de Semmelweiss (1818-1865) agrave savoir que si lrsquoaccoucheur se lave les mains les fiegravevres puerpeacuterales diminuent ainsi que les morts par septiceacutemie le taux de mortaliteacute a chuteacute radicalement chez les accoucheacutees Statistique facile agrave faire car drsquoune part il srsquoagit une seule profession dont les laquo succegraves et eacutechecs raquo (survie ou mort) sont reacutepertorieacutes rigoureusement et agreacutegeacutes nationalement et la veacuterification de lrsquoimpact de CE facteur eacutetait (malheureusement) facile agrave deacutemontrer il suffisait de pas se laver les mains et de compter les mortes Crsquoest aussi en meacutedecine que nous vient un teacutemoignage plus reacutecent celui de Guiscafre et al (2001) dont nous avons repris le reacutesumeacute de lrsquoarticle en note3 Les enseignants expeacuterimenteacutes ont des eacutechos aleacuteatoires de lrsquoimpact de leurs cours par des teacutemoignages mais lrsquoabsence drsquoeacutechantillonnage aleacuteatoire et suffisant en nombre ne permet pas drsquoen tirer des conclusions scientifiques tout au plus des intimes convictions

Q Les critegraveres de qualiteacute Nous nrsquoaborderons pas dans le preacutesent texte les critegraveres de qualiteacute (ou de concordance) qui sont deacutecideacutes par le professeur ou par lrsquoeacutequipe de professeurs sur base de son (leur) eacutetat de connaissance de la peacutedagogie Cet eacutetat est en eacutevolution constante Voici cependant des sources drsquoinspiration pour justifier les options renforcer ou deacuteforcer ses intimes convictions la grille HERDSA de reacuteflexions sur les laquo bonnes pratiques raquo (httpwwwherdsaorgauCCTphp) le chapitre laquo La qualiteacute en peacutedagogie universitaire raquo de Romainville et Boxus (1998) les critegraveres ETIC PRAD de qualiteacutes des eacutevaluations (Leclercq 2006) et de meacutethodes en peacutedagogie universitaire (Leclercq 2008) les travaux de Pascarella et Terenzini (1990 2005)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 30: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 30

R Les reacutegulations et lrsquoinstitution apprenante Ces donneacutees objectives et les avis (subjectifs) des eacutetudiants peuvent inspirer des reacutegulations (Leclercq 2008 chap 1) des (tentatives drsquo) ameacuteliorations agrave divers niveaux (les objectifs les meacutethodes les eacutevaluations le contexte etc Voici par exemple (Gilles et al 1998 Gilles 2002p 90) les moyennes drsquoappreacuteciation des eacutetudiants de 1deg et 2deg anneacutee drsquouniversiteacute agrave la faculteacute de Psychologie et Education de lrsquoUniversiteacute de Liegravege sur les eacutevaluations (pendant lrsquoanneacutee et examens) sur 13 critegraveres reacutepartis en 3 cateacutegories et ce pour deux cohortes successives 1996-1997 (en pointilleacutes) et 1997-1998 Entre les deux les enseignants alerteacutes par les avis (neacutegatifs) moyens aux questions de la cateacutegorie 3 ont (en partie) laquo redresseacute la barre raquo sur ces trois points et obtenu lrsquoanneacutee suivante des avis moyens bien plus favorables mecircme srsquoils sont encore en-dessous des moyennes drsquoavis aux questions des cateacutegories 1 et 2 il reste encore du travail Nous avons deacutecrit ailleurs (Leclercq Dupont et Poumay 2008) ce qursquoest une laquo Universiteacute Apprenante en Peacutedagogie raquo dans un Learning University Model Nous reprenons ici ce concept en montrant que les radiographies des concordances peuvent ecirctre centrales (notez qursquoil y en a plusieurs) pour les quatre fonctions peacutedagogiques permanentes (et cycliques) drsquoune telle universiteacute -(1) Ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage17 -(2) Porter sur eux une reacuteflexion critique et en eacutevaluer le processus et les effets -(3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement -(4) Former ses encadrants

17 Evidemment il serait plus correct drsquoeacutecrire laquoTenter drsquoameacuteliorer les qualiteacutes des enseignements et des apprentissages raquo

FAPSE ULG

0 05 1 15 2 25 3 35 4 45 5

1 1 L e m o d e d eacute v a lu a t io n eacute t a it a d eacute q u a t

1 2 L e n t r a icirc n e m e n t a v a n t l e x a m e n eacute t a it s u f f i s a n t

1 3 L e s q u e s t io n s eacute t a ie n t c la ir e s

1 4 L e s q u e s t io n s eacute t a ie n t b ie n a d a p t eacute e s agrave la m a t iegrave r e

1 5 L e m o d e d eacute v a lu a t io n e s t r eacute v eacute la t e u r d e sc o m p eacute t e n c e s

1 6 L eacute v a lu a t io n e s t eacute q u i t a b le e t im p a r t ia le

2 1 L e s e x ig e n c e s d e l e n s e ig n a n t s o n t c la ir e m e n tp r eacute s e n t eacute e s

2 2 L e s e x ig e n c e s s o n t p r eacute s e n t eacute e s e n t e m p s u t i le

2 3 L e n s e ig n a n t m e t agrave l a is e lo r s d e l e x a m e n o r a l

2 4 L h o r a ir e f i x eacute p o u r l e x a m e n e s t r e s p e c t eacute

3 1 L e s r eacute p o n s e s c o r r e c t e s s o n t c o m m u n iq u eacute e s a p r egrave sl e x a m e n

3 2 L a n a ly s e s t a t is t iq u e d e la q u a l i t eacute d e s Q e s tc o m m u n iq u eacute e

3 3 A p r egrave s l e x a m e n l E p e u t o b t e n ir d e s e x p l ic a t io n s s u rs e s r eacute p o n s e s

M o y e n n e L i k e r t

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 31: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 31

Nous revenons ainsi agrave notre introduction en montrant que les radiographies des concordances peuvent contribuer agrave (1) ameacuteliorer la qualiteacute de lrsquoenseignement et lrsquoapprentissage Quand lrsquoon dispose de donneacutees inteacutegreacutees subjectives et objectives on peut sur la base de perceptions (subjectives) de reacuteflexions (voir ci-apregraves en (2)) ou de mesures objectives piloter les systegraveme de formation Dans le dernier cas (mesures objectives) on pourra mecircme parler drsquoun laquo Evidence Based Learning Piloting raquo (EBLP) dans les autres de PBLP ou de RBLP (2) Porter sur les innovations reacuteflexion critique (nourrie par les theacuteories et donneacutees de la litteacuterature notamment sur ce qui est souhaitable et ce qui est possible) et en eacutevaluer le processus et les effets (en remplissant les cases de la grille) pour permettre la fonction (1) (3) Mener des recherches fondamentales appliqueacutees et de deacuteveloppement Les praticiens chercheurs de la peacutedagogie que sont les enseignants peuvent repeacuterer dans la radiographie des concordances des zones de recherches La radiographie peut eacutevidemment aider agrave identifier des besoins de recherche liant plusieurs zones dans des relations fonctionnelles (causales de co-variation drsquoeffet-reflux etc) (4) Former les encadrants agrave la peacutedagogie La plupart du temps les professeurs drsquouniversiteacute nrsquoont pas reccedilu de formation peacutedagogique avant drsquoenseigner Cette situation eacutevolue lentement certaines institutions comme lrsquouniversiteacute de Liegravege18 eacutetant en pointe de ce mouvement Le seul fait de srsquoappliquer agrave reacutepondre meacutethodiquement aux questions poseacutees par la radiographie des concordances elle-mecircme est formatif La plupart des enseignants se sont eacutevidemment deacutejagrave poseacute ces mecircmes questions mais pas avec le mecircme systeacutematisme la mecircme preacutecision (que la formulation eacutecrite requiert plus que lrsquoorale) et ce dans un but de communication La plupart des eacutetablissements en effet

18 Elle est la seule des pays qui lrsquoentourent agrave avoir organiseacute degraves 2008 une formation peacutedagogique obligatoire pour tous les nouveaux encadrants (professeurs et assistants) et une des tregraves rares agrave avoir organiseacute (depuis 2002) un Master compleacutementaire bilingue (franccedilais ndash anglais) en Peacutedagogie Universitaire

Learning University Model (LabSET 2007)

QualityImprovement

Critical reflexion

Evaluation

Research amp

DevelopmentStaff

Development

World challenges amp Community needs

Intra amp Extra University Accountabilityamp Regulation needs

Creation and accumulationof Knowledge in HE pedagogy

Sharing of HE pedagogyknowledge and expertise

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es

(1)

(3)(4)

D Leclercq P Lerusse amp S Delcomminette (2008) Grille de la Triple Concordance du Cours de Psychologie eacuteducationnelle agrave lagreacutegation CIFEN Universiteacute de Liegravege

Grille de

Triple

Importance Leacutetudiant ( e) ZZ TO P A C M E RImite D E G G G 0 ZReccediloit H G G CG CG CG A A A A A G A A 0 Z w w w w w w wPratique H CF CF CF C F 0 ZExplore 0 ZExperimente B F 0 ZCreacutee 0 ZDeacutebat B 0 ZMeta-cognition F 0 ZACF An cas frac X X X X X X X 40SST Souvenir soll X X X X X X X X X 30CJI Innovation X X X X X X X X 30questionnaire final X 0traces e-tests et forums X X 0QCM (pas en 2008)QCL (pas en 2008)

Reacutesultats Nbre Es

Moy agrave lentreacuteeET agrave lentreacutee

Nbre Es Moy Post immeacutediat ET Post immeacutediat

Imp

rud

ence

(D

egr

eacutes

de c

ert

itude

) da

ns la

per

tinen

ce d

e s

es

reacutep

onse

s

Imp

rud

enc

e (

De

greacute

s d

e ce

rtitu

de)

dans

la p

reacuteci

sion

de

ses

reacutepo

nse

s

INSTRUMENTALES

Ana

lyse

une

situ

atio

n co

ncregrave

te e

t im

agin

e de

s ac

tion

s

Util

ise

les

QC

M S

GI

Prim

-Bis

et

ave

c D

egreacute

s d

e C

ert

itud

e

C

onn

aicirct

les

fact

eu

rs A

-S-C

-I-D

influ

en

ccedilan

t la

co

nd

uite

SPECIFIQUES

Teacuteleacute

char

ge d

es d

ocum

ents

Util

ise

des

form

ulom

s ad

hoc

Lie

la th

eacuteorie

agrave d

es s

ouve

nirs

veacutec

us

Concordance

Par

ticip

e au

x fo

rum

s et

ent

raicircn

emen

ts s

ur le

web

Imag

e qu

il s

e fa

it de

len

seig

nem

et e

t de

sa fo

nctio

n

METACOGNITIVE DYNAMIQUES

Co

nfia

nce

(D

egreacute

s d

e c

ert

itud

e) d

an

s la

preacute

cisi

on d

e se

s reacute

po

nse

s

Sid

entif

ie a

ux teacute

moi

ns d

es a

nneacutee

s pr

eacuteceacuted

ente

s

Con

fian

ce (

Deg

reacutes

de c

ertit

ude

) d

ans

la p

ertin

en

ce d

e s

es r

eacutep

onse

s

Util

ise

des

form

ulai

res

de r

appo

rt

Ana

lyse

une

inno

vatio

n et

la ju

stifi

e th

eacuteoriq

uem

ent

C

onna

icirct le

fonc

tionn

emln

t du

cerv

eau

Util

se u

n co

urs

en li

gne

(sur

Web

CT

)

C

onna

icirct de

s pr

inci

pes

et fa

its s

ur l

adol

esce

nce

C

onn

aicirct

des

prin

cipe

s e

t fai

ts s

ur le

s re

latio

ns p

rof-

eacutelegravev

es (2)

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 32: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 32

communiquent degraves le deacutebut de lrsquoanneacutee pour chacun des enseignements un laquo Plan de cours raquo19 preacutecisant entre autres les objectifs les meacutethodes et les eacutevaluations La transparence et la recherche de coheacuterence et drsquoexhaustiviteacute permettent de cumuler les expeacuteriences de chacun tout particuliegraverement gracircce agrave des mises en commun De telles meacutethodes de planification et de reacutegulation srsquoinscrivent en effet dans la dureacutee Lrsquoexpeacuterience des anneacutees successives permet de mettre agrave jour -les preacutesupposeacutes implicites erroneacutes par exemple laquo les eacutetudiants maicirctrisent deacutejagrave cette matiegravere que je juge preacuterequise pour mon cours raquo -les effets pervers par exemple laquo Plus le syllabus ou livre de base est explicite et plus lrsquoexamen srsquoy conforme moins les eacutetudiants assistent au cours preacutesentiel raquo Cet effet est cacheacute quand on lrsquoattribue par erreur agrave drsquoautres causes (par exemple laquo ils nrsquoaiment pas la matiegravere raquo) -les effets de reflux (des examens sur lrsquoenseignement et lrsquoapprentissage) Par exemple dans le chef des eacutetudiants nrsquoeacutetudier que ce qursquoil faut savoir pour lrsquoexamen20 ou adopter une strateacutegie drsquoeacutetude qui deacutepend non pas des objectifs mais du type drsquoexamen (QCM oral etc)21 Dans le chef de lrsquoenseignant driller pour lrsquoexamen et ce consciemment ou non Dans le chef des eacutetablissements qui preacuteparent au niveau supeacuterieur Par exemple si ces eacutetablissements constatent que le niveau supeacuterieur dans ses eacutevaluations des eacutetudiants nrsquoaccorde pas drsquoimportance agrave un contenu (lrsquoorthographe par exemple) il ne le fera pas non plus Par contre il tentera de preacuteparer ses eacutetudiants aux exigences du niveau supeacuterieur -la neacutecessiteacute drsquooptimiser le laquo budget temps raquo des eacutetudiants Ce budget est maintenant exprimeacute en uniteacutes preacutecises les ECTS (24 heures de travail drsquoun eacutetudiant) Un professeur titulaire drsquoun cours de 2 ECTS est maintenant laquo interpellable raquo (principe drsquoimputabiliteacute) par les eacutetudiants (et les collegravegues) si ses exigences deacutepassent de loin cette charge de travail Est-il permis de ne pas calculer ou de le faire laquo agrave la grosse louche raquo le temps des autres 22 Des choix devront ecirctre faits Les meacutethodes baseacutees sur le constructivisme prennent en geacuteneacuteral plus de temps que les meacutethodes transmissives pour couvrir une mecircme matiegravere Si lrsquoon opte pour le PBL par exemple il faut donc reacuteduire celle-ci ou accepter que les performances en meacutemoire de faits preacutecis soient moins bonnes que par les meacutethodes traditionnelles23 -la neacutecessiteacute drsquoapporter des preuves des deacuteclarations who asserts must prove Une radiographie des concordances compleacuteteacutee permet agrave la fois de jeter un regard synoptique sur les objectifs et leur degreacute drsquoatteinte Les laquo donneacutees manquantes raquo sont des indications tregraves visibles des impossibiliteacutes drsquoinfeacuterences causales -la neacutecessiteacute de se donner des critegraveres de qualiteacute des objectifs des meacutethodes et des eacutevaluations (voir section K) Nous consideacuterons que cette dimension se superpose aux donneacutees deacutejagrave dans la radiographie des concordances Pour lrsquoy introduire crsquoest dans les cellules elles-mecircmes qursquoil faudra les introduire ces qualificateurs et quantificateurs lagrave ougrave il nrsquoy a encore a plupart du temps que des indications de correspondance ou de preacutesence Ainsi dans la radiographie des concordances preacutesenteacutee en section K lagrave ougrave ne figure actuellement qursquoun code (ex G) ou une croix (X) des indices drsquoefficaciteacute reacuteveacuteleacutes par la litteacuterature24 devraient figurer si lrsquoon veut promouvoir plutocirct qursquoune Education Baseacutee sur des Croyances (EBC) une Education Baseacutee sur des Preuves (EBP) ou Evidence Based Pedagogy

19 En anglais laquo Syllabus raquo agrave lrsquoUniversiteacute de Liegravege laquo Engagements peacutedagogiques raquo 20 laquo Test driven strategy raquo (of learning of teaching) 21 Deacutemonstration expeacuterimentale par Leclercq et Pierret (1989) 22 Voir la question 5 dans notre section K (Lrsquoanalyse de la radiographie) 23 Ce qui est geacuteneacuteralement observeacute (Leclercq et van der Vleuten 1998 p 203) mais compenseacute sur drsquoautres aspects 24 Donc avec les reacutefeacuterences agrave cette litteacuteraturehellipqui eacutevolue en permanence

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 33: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 33

Conclusion Un enseignant peut adopter drsquoautres deacutemarches que celle qui a eacuteteacute deacutecrite pour ameacuteliorer son enseignement Il peut par exemple se poser certaines (voire toutes) des questions de la liste HERDSA (Poumay 2007) De toute faccedilon la situation dont il part et celle agrave laquelle il arrivera pourront srsquoil le deacutesire aussi faire lrsquoobjet de deux descriptions dans la Radiographie des concordances comparables agrave des photos prises agrave des moments diffeacuterents Or degraves le moment ougrave elles ont eacuteteacute prises elles sont deacutejagrave deacutepasseacutees Crsquoest pourquoi Jacques Tardif preacutefegravere penser en termes de videacuteo25 puisque la situation est constamment en eacutevolution on ne la laquo fige raquo (laquo arrecircteacute sur image raquo) que dans le but de dresser des bilans (photos instantaneacutees agrave partir de videacuteos) eux-mecircmes orienteacutes vers des ameacuteliorations Cette radiographie des concordances nrsquoest pas indispensable pour que des reacuteflexions inteacuteressantes et des actions individuelles utiles soient conccedilues et exeacutecuteacutees Ainsi nous avons deacutecrit de faccedilon narrative laquo videacuteo raquo le cheminement de plus de 20 ans drsquoajustements successifs dans un de nos cours dans un article intituleacute laquoA la recherche de la Triple Concordance raquo (Leclercq 2007) Et agrave aucun moment de la narration nous nrsquoavons dresseacute la grille la radiographie des concordances Nous en sommes resteacute agrave la meacutetaphore graphique du sucre (sections B agrave D) Une (ou des) radiographie(s) des concordances preacutesente(nt) drsquoautant plus drsquointeacuterecirct qursquoil srsquoagit de communiquer drsquoune faccedilon la plus complegravete possible (dans des rapports drsquoaudits par exemple) ou quand il srsquoagit drsquoimaginer des actions collectives ou drsquoen mesurer lrsquoimpact Elle est une sorte de table des matiegraveres deacutebouchant sur une seacuterie drsquoannexes Certains pourront voir dans la Radiographie des concordances les barreaux drsquoune prison drsquoautres les parois qui protegravegent et les avenues qui permettent de deacuteambuler sans ecirctre au contraire des obstacles agrave leur flexibiliteacute Nous faisons le pari que lrsquooutil laquo Radiographie des concordancesraquo non seulement permettra de faire a face agrave la complexiteacute mais permettra drsquoen tirer parti

Quand vient le temps du changement certains bacirctissent des murs drsquoautres des moulins agrave vent26

25 Expression qursquoil a utiliseacutee lors des seacuteminaires drsquoaccompagnement IFRES agrave lrsquouniversiteacute de Liegravege (juin 2008) 26 Ici bacirctir des murs consisterait par exemple agrave laquo traiter des problegravemes complexes comme srsquoils eacutetaient simples raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 34: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 34

Note 1 Les six niveaux de base de la taxonomie des objectifs cognitifs de Bloom sont eacutevidemment des processus mentaux qui srsquoappliquent agrave une multitude de contenus Cette position est confirmeacutee par Anderson et Krathwohl (2001 p 12)

Note 2 Les Solutions Geacuteneacuterales Implicites (SGI) sont des solutions possibles que lrsquoon ajoute agrave la liste habituelle drsquoune QCM mais sans les dactylographier dans chaque QCM Elles sont degraves lors implicites car non rappeleacutees agrave lrsquoeacutetudiant testeacute On mesure ainsi sa vigilance cognitive car il doit se rappeler spontaneacutement ces possibiliteacutes qui sont au nombre de quatre dans nos applications (Leclercq 1986 p 127-144) Aucune Toutes Manque de donneacutees da ns lrsquoeacutenonceacute Absurditeacute dans lrsquoeacutenonceacute (NB Lrsquoabsurditeacute a prioriteacute sur toutes les autres reacuteponses) Elles sont aussi geacuteneacuterales car elles sont valables pout toutes les questions drsquoun test

Note 3 Reacutesumeacute Abstract de Guiscafre et al (2001) laquo Leacutetude avait un double but deacutecrire les activiteacutes dune uniteacute de formation clinique creacuteeacutee pour la prise en charge inteacutegreacutee de lenfant malade et eacutevaluer son impact au bout de quatre anneacutees de fonctionnement Luniteacute de formation eacutetait installeacutee dans le service de soins ambulatoires dun hocircpital public et comptait un peacutediatre un meacutedecin geacuteneacuteraliste deux infirmiegraveres et un nutritionniste Le personnel tenait une base de donneacutees informatiseacutee pour tous les patients vus et eacutetait superviseacute une fois par mois Pendant les trois premiegraveres anneacutees les demandes de premiegravere consultation meacutedicale ont augmenteacute de 477 pour les infections respiratoires aigueumls (IRA) et de 134 pour la diarrheacutee aigueuml (DA) avec une augmentation annuelle moyenne de la demande de soins meacutedicaux de 125 Au total 89 des megraveres ayant ameneacute leur enfant pour consultation et 85 des megraveres habitant la zone desservie par lhocircpital et dont un enfant eacutetait deacutejagrave deacuteceacutedeacute ont reccedilu une formation sur la faccedilon de reconnaicirctre les signes dalarme chez un enfant malade Leacutevaluation a montreacute que 58 de ces megraveres avaient eacuteteacute correctement formeacutees Une formation agrave la reconnaissance et agrave la prise en charge correcte de la DA et des IRA a eacutegalement eacuteteacute dispenseacutee agrave 85 des meacutedecins en soins de santeacute primaires travaillant dans les eacutetablissements publics (n = 350) et agrave 45 des meacutedecins du secteur priveacute (n = 90) La mortaliteacute par IRA chez les enfants de moins dun an appartenant agrave la zone desservie (qui comptait environ 25 000 enfants de moins de cinq ans) a baisseacute de 432 en trois ans tandis que la mortaliteacute chez les enfants de moins de cinq ans baissait de 388 Les chiffres correspondants pour la reacuteduction de la mortaliteacute par DA eacutetaient de 363 et 336 Pendant cette mecircme peacuteriode 11 protocoles de recherche clinique ont eacuteteacute reacutedigeacutes En reacutesumeacute cette eacutetude nous a appris quune uniteacute de formation clinique pour la prise en charge inteacutegreacutee de lenfant malade eacutetait un excellent moyen doffrir une formation en cours demploi aux meacutedecins en soins de santeacute primaires raquo

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 35: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 35

Reacutefeacuterences Albanese MA amp Mitchell S (1993) Problem-based learning A review of literature on its outcomes

and implementation issues Academic Medicine 68 1 52-81 Anderson L amp Krathwohl D (2001) A taxonomy for Learning Teaching and Assessing A

Revision of Bloomrsquos Taxonomy opf Educational Objectives Abridged Edition Addison Wesley Longman

Beckers J (2002) Deacutevelopper eacutevaluer des compeacutetences agrave lrsquoeacutecole vers plus drsquoefficaciteacute et drsquoeacutequiteacute Bruxelles Labor

Beckers J Leclercq D amp Poumay M (2007) Une proposition de definition des compeacutetences IFRES Universiteacute de Liegravege Liegravege Belgique

Besanccedilon F et Joly H (1976 revu 2008) Sur les variations des situations comportements et opinions des eacutetudiants en meacutedecine en 1976 Deacutegradation de lefficaciteacute pour eacutetudier httpwwwparlersantefretudier_etudianthtm

Birenbaum M amp Dochy F (Eds) (1996) Alternatives in assessment of achievements learning processes and prior knowledge Boston (Mas) Kluwer Academic Publishers

Birenbaum M (1996) Assessment 2000 Towards a Pluralistic Approach to Assessment in B Birenbaum amp F Dochy (Eds) 1996 3-29

Bloom B et al (1956) Taxonomy of educational objectives Handbook 1 Cognitive domain New-York McKay traduit par M Lavalleacutee sous le titre laquo Taxonomie des objectifs peacutedagogiques raquo Montreacuteal Education nouvelle (1969)

Brunswick E (1943) Organismic achievement and Environment Probability Psychological Review 50 255-272

Campbell D amp Stanley J(1963 2nd ed 1966) Experimental and quasi experimental designs for research Chicago Rand Mc Nally amp Co

de Landsheere G (1979) Dictionnaire de lrsquoeacutevaluation et de la recherche en eacuteducation Paris PUF

Freinet C Les dits de Mathieu Delachaux et Niestleacute Paris 1967 Gilles J L (2002) Qualiteacute spectrale des tests standardiseacutes universitaires Thegravese de Doctorat

en Sciences de lEducation non publieacutee Faculteacute de Psychologie et des Sciences de lrsquoEducation Universiteacute de Liegravege

Gilles J-L Collet M Debry M Denis B Etienne A-M Geuzaine C Jans V Leclercq D Lejeune M et Pahaut C (1998) Eacutevaluation des enseignements en premiegravere et deuxiegraveme candidature anneacutee acadeacutemique 1997-1998 Rapport de synthegravese pour le conseil de faculteacute Liegravege Universiteacute de Liegravege Faculteacute de Psychologie et des Sciences de lrsquoEacuteducation

Glaser R (1963) Instructional technology and the measurement of learning outcomes Some questions American Psychologist 18 pp 519-521

Guiscafre H Martinez H Palafox M Villa S Espinosa P Bojalil R amp Guttierez G (2001) The impact of a clinical training unit on integrated child health care in Mexico Bulletin of the World Health Organization vol 79 no5 pp 434-441

HERDSA (1992) Challenging conceptions of teaching Some prompts for good practice Consulteacute le 21042005 dans httpwwwherdsaorgauCCTphp

Jans V et al (1998) Projets dAnimations Reacuteciproques Mutimeacutedias (PARM) In D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Liegravege Mardaga 207-241l

Jenkins A(1992) Active learning in structured lectures in Gibbs amp Jenkins (Eds) Teaching large classes in higher education How to maintain quality with reduced resources London Kogan Page 63-77

Keller F(1968) Goodbye teacher Journal of Applied Behavior Analysis Vol 1 78-89 Keller F amp Sherman G (1974) The Keller plan handbook Menlo Park Cal WH Benjamin Inc Kirkpatrick D A (1983) Practical Guide for supervisory Training and Development Reading

Mass Addison-Wesley Knight P (2000) Skills Plus Employability in higher education

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 36: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 36

httpwwwlancsacukusersedresresearchskillsplusindexhtm consulteacute le 7 juin 2007 Kovertaite RVR amp Leclercq D (2006) The triple consistency illustrated by e-tivities to

help understand national and international policies in e-learning Revue Internationale de Peacutedagogie Universitaire 3(2)

Kuhn T S (1962 trad 1983) La Structure des reacutevolutions scientifiques Paris Flammarion (Champs)

Leclercq D (1987) Lrsquoordinateur et le deacutefi de lrsquoapprentissage Horizon Philips Professional Systems novembre 1987 13 29-32 et mars 1988 14 22-24

Leclercq D amp Pierret D (1989) Deacutelinrsquo A computerized open learning environment to study intrapersonal variations in learning styles in Estes et al (Eds) Proceedings of the 6th International Conference on Technology and Education (ICTE) Orlando Florida 268-272

LeclercqD amp Vandervleuten C (1998) Problem Based Learning In Leclercq D (Ed) (1998) Pour une peacutedagogie universitaire de qualiteacute ( pp 187-205) Sprimont Mardaga

Leclercq D Gibbs G amp Jenkins A (1998) Le deacutefi des grands groupes in D Leclercq (Ed) Pour une peacutedagogie universitaire de qualiteacute Sprimont Mardaga pp 137-159

Leclercq D (1995)Conception drsquoInterventions et Construction de Produits pour la Formation Liegravege Editions de lrsquoUniversiteacute de Liegravege

Leclercq D Marotte P Massart V Simon F Poumay M Cabolet C amp Bolland J (2003) Deux approches contrasteacutees pour deacutevelopper les compeacutetences transversales dans les grands groupes universitaires Sherbrooke (CA) AIPU conference proceedings

Leclercq D et Denis B (2001) Auto observation des modaliteacutes drsquoapprentissage en situation de projet Meacutetacognition matheacutetique au cours de PARMs Revue des Sciences de lEducation Numeacutero theacutematique L universiteacute un espace dinnovation peacutedagogique vol XXVIIndeg2 421-440

Leclercq D amp Glowacki J (2005) TOPACMER Indices de participation drsquoeacutetudiants agrave un cours de lrsquoenseignement supeacuterieur Colloque de lrsquoAIPU Genegraveve

Leclercq et Poumay (2007) La meacutetacognition In D Leclercq Meacutethodes de Formation et Theacuteories d elrsquoApprentissage Editions de lrsquouniversiteacute de Liegravege

Leclercq D Dupont Ch amp Poumay M (2007) The Learning University Model and its use in Piloting a HE Curriculum Universiteacute de Liegravege LabSET-IFRES

Leclercq D avec la collaboration de Poumay P Delcomminette S amp Quoilin M(2007) Psychologie eacuteducationnelle de lrsquoadolescent et du jeune adulte Editions de lrsquoUniversiteacute de Liegravege

Leclercq D et Poumay M (2008) laquo Le modegravele des eacuteveacutenements drsquoapprentissage ndash Enseignement raquo httpwwwlabsetnetpmbpublicationsfichiersA1280_LECLERCQ_POUMAY_Les_8_EAE_et_leurs_principes_pdf

Leclercq D (2008) A la recherche de la triple Concordance LabSET-IFRES Universiteacute de Liegravege

Mager RF (1962) Preparing Instructional Objectives Palo Alto Cal Fearon Publ Inc Nadeau M-A (1988) Lrsquoeacutevaluation de programme Theacuteorie et pratique Queacutebec les Presses

de lrsquoUniversiteacute Laval Pascarella E amp Terenzini P (1990) How College affects students Vol 1 Findings and Insights from

Twenty years of research Vol 2 (2005) A Third decade of Research San Francisco Jossey-Bass Poumay M (2007) Liste des 47 questions proposeacutees par lrsquoassociation HERDSA aux enseignants du

supeacuterieur qui souhaitent ameacuteliorer leurs pratiques LabSET-IFRES universiteacute de Liegravege Roegiers X (2000) Une peacutedagogie de lrsquointeacutegration Compeacutetences et inteacutegration des acquis dans

lrsquoenseignement Bruxelles De Boeck Saunders N Northrup D Menin S (1985) The libray in a Problem-B ased curriculum In

Kaufman et al Implementing Problem-Based Medical education New-York Springer p 71-88

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates

Page 37: Radiographier les Concordances O-M-E-R d’un cours ou d’un ... · Bac, chaque groupe préparant (avec l’aide de l’enseignant) une « portion » de la matière devant tenir

D Leclercq (deacutecembre 2008) ndash Radiographier les concordances OMER drsquoun cours ou drsquoun curriculum Chapitre 5 de Conception et eacutevaluation de curriculum ndash Editions de lrsquoUniversiteacute de Liegravege page 37

Schwartz B (1993) Moderniser sans exclure Paris Editions La Deacutecouverte-Essais Tardif J (2006) Lrsquoeacutevaluation des compeacutetences Montreacuteal La Checircnelierre Tyler RW (1949) Basic principles of curriculum and instruction Chicago University of

Chicago Press Tyler RW (1978) How schools utilize educational research and development In R Glaser

(Ed) Research and Development and School change Hillsdale NJ Laurence Erlbaum Associates