Sommaire

l page 1 Une eacutevaluation qui polarise lrsquoattention l page 3 Ce que PISA peut nous apprendre sur lrsquoenseignement l page 9 PISA et le pilotage des systegravemes eacuteducatifs l page 14 Bibliographie

118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

ndeg 66Oct 2011

Doss

ier d

rsquoact

ualit

eacuteV

EIL

LE E

T A

NA

LYS

ES

Les reacutesultats de PISA (programme pour lrsquoeacutevaluation internationale des eacutelegraveves) sont depuis 2001 rendus publics tous les trois ans et suscitent un flot croissant de commentaires sur les diagnostics qursquoils permettent de dresser de notre systegraveme eacuteducatif Mecircme si la dimension laquo palmaregraves raquo est souvent la plus connue ce nrsquoest sans doute pas son aspect le plus inteacuteressant Ce programme de lrsquoOCDE constitue un reacuteservoir de don-neacutees sans preacuteceacutedent que de nombreuses recherches exploitent depuis plusieurs anneacutees Sa reacutegulariteacute au niveau interna-tional permet de nourrir les reacuteflexions sur la diversiteacute des approches et des appropriations de PISA au niveau natio-nal Ce dossier propose par conseacutequent une introduction aux savoirs qui ont pu ecirctre produits agrave partir de PISA ainsi qursquoaux utilisations qui ont pu ecirctre faites des reacutesultats de cette enquecircte internatio-nale comme outil de pilotage eacuteducatif

Une eacutevalUation qUi polarise lrsquoattentionPISA nrsquoest pas le seul ni mecircme le premier programme international drsquoeacutevaluation des acquis des eacutelegraveves Il est pourtant devenu le plus visible le plus commenteacute et le plus eacutetu-dieacute

CommENT foNCTIoNNENT LES EN-quecirctes

Le programme PISA a eacuteteacute officiellement lanceacute en 1997 et la premiegravere enquecircte reacutealiseacutee en 2000 le pilotage opeacuterationnel du consortium eacutetant porteacute par lrsquoAustralian Council for Educa-tional Research Les eacutevaluations sont recon-duites tous les trois ans avec un champ privi-leacutegieacute pour chaque eacutedition (repreacutesentant 23 des questions) la compreacutehension de lrsquoeacutecrit pour la premiegravere enquecircte en 2000 la culture matheacutema-tique en 2003 et la culture scientifique en 2006 A partir de 2009 le cycle entameacute en 2000 re-commence et permet de disposer de donneacutees de comparaisons assez deacutetailleacutees 63 pays par-ticipaient agrave lrsquoeacutevaluation en 2009 soit largement plus que la trentaine de membres de lrsquoOCDE

Les eacutechantillons drsquoeacutelegraveves passant les eacutepreuves sont censeacutes ecirctre statistiquement repreacutesentatifs des jeunes de 15 ans des systegravemes concer-neacutes ce qui implique des proceacutedures strictes de controcircle de la qualiteacute des eacutechantillons

Par Olivier Rey

Responsable du service Veille amp Analyses

PISA CE QUE LrsquooN EN SAIT ET CE QUE LrsquooN EN fAIT

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

218

Lrsquoensemble des items drsquoune eacutevaluation repreacutesente environ sept heures de passa-tion de questionnaire Bien eacutevidemment aucun eacutelegraveve de lrsquoeacutechantillon nrsquoest censeacute reacutepondre agrave lrsquoensemble chacun doit y participer 2 heures ce qui est deacutejagrave consi-deacuterable pour une cinquantaine drsquoitems agrave renseigner Le temps est volontairement limiteacute pour que les eacutelegraveves aient agrave deacutecider rapidement la reacuteponse agrave apporter Le pro-cessus repose sur la meacutethode de la theacuteo-rie de reacuteponse agrave lrsquoitem qui permet drsquoorga-niser la passation des tests en geacuteneacuterali-sant la valeur preacutedictive des reacutesultats sans obliger tous les eacutelegraveves agrave passer la totaliteacute de lrsquoeacutepreuve Les items sont orga-niseacutes en groupes sur la base de situations laquo de la vie reacuteelle raquo Seule la moitieacute des items environ sont sous forme de QCM le reste des questions exigeant la construc-tion drsquoune reacuteponse On peut consulter une deacutemonstration de ces tests en ligne

Les eacutelegraveves doivent en outre compleacuteter un questionnaire de contexte sur eux-mecircmes et leur milieu familial qui prend 20 agrave 30 minutes et les directeurs drsquoeacutetablisse-ments doivent faire de mecircme pour ce qui concerne leur institution scolaire

LrsquoorIgINALITeacute dE PISA PAr rAPPorT AUx AUTrES eacuteVALUATIoNS INTErNATIoNALES

Les premiegraveres eacutevaluations agrave viseacutee com-parative internationale datent de la fin des anneacutees 1950 mais il faut surtout retenir le rocircle moteur de lrsquoIEA International Asso-ciation for the Evaluation of Educational Achievement des anneacutees 1960 jusqursquoagrave la fin des anneacutees 1980 (Bottani amp Vrignaud 2005) l

Les premiegraveres eacutevaluations agrave viseacutee com-parative internationale datent de la fin des anneacutees 1950 mais il faut surtout retenir le rocircle moteur de lrsquoIEA International Asso-ciation for the Evaluation of Educational Achievement des anneacutees 1960 jusqursquoagrave la fin des anneacutees 1980 (Bottani amp Vrignaud 2005)

PISA se distingue de ce que fait lrsquoIEA agrave plu-sieurs niveaux

minus Le programme beacuteneacuteficie de lrsquoenga-gement des deacutecideurs politiques via lrsquoOCDE ce qui a permis de deacutegager des ressources et moyens beaucoup plus importants et drsquoassurer une plus large diffusion des reacutesultats

minus Il srsquoest positionneacute degraves le deacutebut comme un programme tourneacute vers les deacuteci-deurs publics ce qui impliquait un rythme drsquoenquecircte soutenu permettant aux responsables gouvernementaux de pouvoir utiliser les donneacutees dans leur pilotage Le rythme triennal de PISA sans doute plus rapide qursquoil ne serait laquo scientifiquement raquo neacutecessaire assure une visibiliteacute et une preacutesence sur lrsquoagenda public sans eacutequivalent

minus PISA choisit de traiter les trois mecircmes domaines (lecture culture matheacute-matique culture scientifique) dans chaque enquecircte avec une theacutema-tique dominante et des theacutematiques secondaires ce qui permet drsquoassurer une continuiteacute de comparaisons drsquoune enquecircte agrave lrsquoautre tout en fideacutelisant les pays participants

minus PISA a reacuteussi agrave deacutefinir des reacutefeacuterences communes entre pays aux traditions scolaires profondeacutement diffeacuterentes en deacutecidant drsquointerroger des eacutelegraveves en fonction de leur acircge (15 ans) et non pas de leur situation dans un niveau scolaire et sur des compeacutetences et des savoirs geacuteneacuteriques (plutocirct que sur des connaissances disciplinaires)

PISA srsquoest donc drsquoentreacutee autonomiseacute des curricula nationaux en se fixant deacutelibeacutereacutement comme objectif drsquoeacutevaluer les compeacutetences indispensables que tout jeune devrait maitriser agrave un acircge correspondant agrave peu pregraves agrave la fin de la scolariteacute obligatoire dans la plupart des pays deacuteveloppeacutes

Notamment connue pour ses enquecirctes TIMMS (matheacutema-tiques et sciences) et PIRLS (lecture-eacutecri-ture) lrsquoIEA compte aujourdrsquohui pregraves de 70 membres organismes de recherche repreacute-sentant des systegravemes eacuteducatifs gouverne-mentaux ou non Elle a conduit une vingtaine drsquoeacutetudes reconnues par la communauteacute scientifique

l

318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

On comprend bien la relation ainsi eacuteta-blie avec drsquoautres programmes visant la deacutefinition de compeacutetences cleacutes au niveau de lrsquoOCDE puis de lrsquoUnion eu-ropeacuteenne ainsi que sa reacutepercussion sur des initiatives nationales comme le socle commun de connaissances et de compeacutetences franccedilais Lrsquoimbrication croissante entre ces types drsquoeacutevalua-tions et les eacutevaluations nationales est recommandeacutee par le Haut comiteacute de lrsquoEacuteducation (2011) qui souhaite que les indicateurs drsquoeacutevaluation soient compa-tibles avec les eacutevaluations internatio-nales de lrsquoOCDE et de lrsquoIEA

Ce qUe pisa peUt noUs apprendre sUr lrsquoenseignement

Jusqursquoagrave la fin du siegravecle dernier on trouve peu drsquoeacutechos des eacutevaluations in-ternationales des acquis des eacutelegraveves au sein de la recherche en eacuteducation fran-ccedilaise (Bottani amp Vrignaud 2005) Lors des deux premiegraveres eacuteditions de PISA les eacutechanges dans lrsquohexagone restent pour lrsquoessentiel confineacutes dans certains cercles de speacutecialistes Si le deacutebat public se deacuteveloppe agrave partir de 2005-2006 il ne transforme par radicalement le paysage de la recherche jusqursquoen 2010 Hormis quelques exceptions lrsquoexploitation des donneacutees PISA par les chercheurs srsquoavegravere tregraves localiseacutee prin-cipalement dans les rares eacutequipes qui maicirctrisent les techniques quantitatives (Mons amp Pons 2009)

LE SYSTegravemE eacutedUCATIf frANccedilAIS INTErPELLeacute PAr LES reacuteSULTATS dE PISA

Une premiegravere utilisation des reacutesultats de PISA la plus commune consiste agrave regarder la place relative qursquoy occupe la France et surtout son eacutevolution entre les diffeacuterentes enquecirctes Lrsquoanalyse des reacutesultats montre que le score moyen en compreacutehension de lrsquoeacutecrit est en baisse entre 2000 et 2009 parmi les pays de lrsquoOCDE participant agrave lrsquoeacutetude

la France occupait le 10egraveme rang sur 27 en 2000 elle se situe en 2009 au 17egraveme rang sur 33 Cette baisse des performances concerne eacutegalement la culture matheacutematique (- 14 points entre 2003 et 2009) Le score moyen est en revanche stable en culture scientifique entre 2006 et 2009 l

La France se singularise surtout par une proportion importante drsquoeacutelegraveves dans le niveau 2 de PISA (seuil en-dessous duquel les compeacutetences mi-nimales ne sont pas maicirctriseacutees) pro-portion qui agrave tendance agrave srsquoaccentuer ils eacutetaient 15 dans PISA 2000 20 dans la derniegravere enquecircte en 2009 Une augmentation de 30 de ce groupe de jeunes qui rencontre agrave priori toutes les difficulteacutes lieacutees agrave lrsquoeacutechec scolaire En compreacutehension de lrsquoeacutecrit la population drsquoeacutelegraveves sous le niveau 2 a augmenteacute de pregraves de 30 en France entre 2000 et 2009 alors qursquoelle baissait de 6 en moyenne dans les 26 pays de lrsquoOCDE Quant aux eacutelegraveves franccedilais sous le ni-veau 1 les plus faibles leur proportion a presque doubleacute (passant de 42 agrave 79 ) entre 2000 et 2009 tout comme en culture matheacutematique entre 2003 et 2009 (elle est passeacutee de 56 agrave 95 )

La pratique intensive du redou-blement est au centre du para-doxe franccedilais si lrsquoon ne retenait que les reacutesultats des eacutelegraveves laquo agrave lrsquoheure raquo dans le systegraveme la France figurerait facilement dans le peloton de tecircte des perfor-mances mesureacutees dans PISAhellip mais si lrsquoon retient les reacutesultats de ses redoublants (assez nom-breux) elle affiche des perfor-mances comparables agrave celles des pays les plus pauvres de lrsquoOCDE (Forestier 2007)

Le problegraveme de la France nrsquoest pas tant celui de la moyenne globale de son niveau de formation mais le fait que lrsquoessentiel des difficulteacutes se situe en bas

La stagnation ou deacutegradation de la position franccedilaise nrsquoest pas si accuseacutee si lrsquoon considegravere lrsquoeacutevo-lution des moyennes brutes de 2003 agrave 2009 la France se situant reacuteguliegraverement juste en dessous de la moyenne OCDE Elle est plus sensible quand on compare ces reacutesultats aux progres-sions drsquoautres pays agrave travers les diffeacuterentes enquecirctes comme lrsquoAllemagne lrsquoItalie ou le Portugal

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

418

de la pyramide scolaire l Les ineacutegaliteacutes sociales sont bien plus marqueacutees dans lrsquohexagone que dans la moyenne des pays deacuteveloppeacutes et une lecture attentive des reacutesultats montre un systegraveme eacuteducatif agrave lrsquoopposeacute de ce qursquoil preacutetend ecirctre mieux deacutefini par la cooptation sociale et la seacutegreacutegation des curricula que par les viseacutees deacutemocratiques du collegravege laquo unique raquo estime Felouzis (2009)

Lrsquohexagone faisant partie des pays ougrave les laquo possessions raquo culturelles sont les plus discriminantes quant aux reacutesultats des ap-prentissages il faudrait donc plutocirct cher-cher agrave diminuer lrsquoeffet de ces laquo posses-sions raquo sur les scores en compreacutehension de lrsquoeacutecrit Par ailleurs le temps de travail agrave la maison nrsquoest associeacute aux ineacutegaliteacutes sociales de compeacutetences qursquoen France en Espagne au Royaume-Uni en Italie en Belgique et surtout en Gregravece On peut donc penser qursquoune politique qui viserait en France agrave accroicirctre le temps de travail hors cours des eacutelegraveves deacutefavoriseacutes se tra-duirait par une diminution de lrsquoineacutegaliteacute so-ciale de compreacutehension de lrsquoeacutecrit (Meuret amp Morlaix 2006)

Quant agrave la perception de lrsquoutiliteacute profes-sionnelle de lrsquoeacutecole par les eacutelegraveves de 15 ans la France apparaicirct comparativement aux autres pays de lrsquoOCDE bien posi-tionneacutee mais particuliegraverement mal placeacutee dans tous les items qursquoon peut consideacute-rer comme autant drsquoindices drsquoun laquo bien ecirctre raquo agrave lrsquoeacutecole Le type de climat scolaire caracteacuteristique de la France semble ain-si combiner une mauvaise inteacutegration agrave lrsquoeacutecole avec une bonne inteacutegration au sein de ses pairs crsquoest-agrave-dire avec les autres camarades de classe (Duru-Bellat Mons amp Bydanova 2008)

Des eacutelegraveves franccedilais plus agrave lrsquoaise dans le preacutelegravevement drsquoinformations que dans lrsquoexpression drsquoeacutecrits autonomes

Lrsquoensemble des eacutevaluations converge depuis 30 ans sur le fait que les eacutelegraveves franccedilais rencontrent des difficulteacutes lorsqursquoil srsquoagit de passer du preacutelegravevement drsquoinformations dans un texte narratif agrave une observation plus autonome agrave lrsquointerpreacuteta-tion et surtout agrave lrsquoanalyse ou au commen-

taire reacutedigeacutes en reacuteponse agrave des questions ouvertes Drsquoune maniegravere geacuteneacuterale ils semblent plus compeacutetents lorsqursquoil srsquoagit de preacutelever des informations dans un do-cument ou de restituer des connaissances que lorsqursquoon leur demande de mobiliser leurs connaissances et drsquoexercer leur es-prit critique pour affronter des situations qui sortent du cadre scolaire (Grenet 2008)

A la sortie du collegravege les eacutelegraveves franccedilais ont une tendance plus forte que dans les autres pays agrave srsquoabstenir de reacutepondre aux questions agrave reacuteponses construites alors qursquoils reacuteussissent mieux aux questions de type QCM l Ce tregraves fort taux de non-reacuteponse peut laisser supposer que crsquoest peut-ecirctre dans le domaine de lrsquoexpres-sion eacutecrite plus que dans celui de la lecture proprement dite que nos eacutelegraveves eacuteprouvent le plus de difficulteacutes A score eacutegal dans drsquoautres pays de lrsquoOCDE les eacutelegraveves mecircme faibles reacutepondent aux questions qui leur sont poseacutees Le fait que les eacutelegraveves franccedilais aient manifeste-ment des reacuteticences agrave prendre le risque de donner une reacuteponse fausse alors que les eacutelegraveves des autres pays assument ce risque est tregraves certainement reacuteveacutelateur de leur crainte de voir stigmatiser leurs erreurs Les eacutelegraveves franccedilais ont en par-ticulier des problegravemes quand la reacuteponse solliciteacutee neacutecessite un effort drsquoeacutecriture impliquant des tacircches sous-jacentes drsquoordre meacuteta-cognitif les jeunes fran-ccedilais essayent systeacutematiquement de relier toute question agrave des routines scolaires et preacutefegraverent srsquoabstenir de reacutepondre quand ils ont un doute sur le type de reacuteponse agrave apporter (Reacutemond 2006) On retrouve ici une caracteacuteristique majeure de notre en-seignement qui souvent ne srsquoappuie pas sur les erreurs des eacutelegraveves mais considegravere ces erreurs comme des fautes et les sanc-tionne comme telles (Emin 2008)

Il est inteacuteressant de comparer ces constats avec ceux reacutealiseacutes agrave partir des eacutevalua-tions PIRLS de lrsquoIEA dans un domaine eacutequivalent sur les eacutelegraveves de CM1 On y constate en effet que les eacutelegraveves franccedilais sont tregraves performants lorsqursquoil srsquoagit de retrouver des informations ou de faire des infeacuterences simples mais qursquoils sont moins

Ce qui pour Baude-lot et Establet (2009) permet de conclure que les enquecirctes PISA confirment un veacuteri-table laquo gaspillage de ressources humaines raquo dans lrsquoeacuteducation fran-ccedilaise qui forme des eacutelites en petit nombre pour un grand coucirct mais doit aussi consa-crer beaucoup de moyens agrave une scolariteacute obligatoire peu effi-cace ni eacutequitable

Crsquoest particuliegraverement net en compreacutehension de lrsquoeacutecrit mecircme si ce constat concerne lrsquoen-semble des domaines eacutevalueacutes

l

l

518 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

agrave lrsquoaise quand il srsquoagit drsquointerpreacuteter ou de produire des eacutecrits faisant appel agrave la reacuteflexion critique Reacutemond (2007) en conclut que lrsquoempan des tacircches propo-seacute agrave lrsquoeacutecole est sans doute trop eacutetroit et ne sollicite qursquoune compreacutehension immeacutediate et de surface des textes

Des reacutesultats drsquoeacutevaluations qui ne font pas qursquoeacutevaluer de laquo simples raquo compeacutetences de lecture et drsquoeacutecriture

Dans une analyse secondaire de PISA 2000 plusieurs chercheurs du labora-toire Escol (Universiteacute Paris 8) ont pro-poseacute un nouveau traitement statistique des reacuteponses de 800 eacutelegraveves franccedilais agrave partir drsquohypothegraveses theacuteoriques diffeacute-rentes

Les auteurs supposent que les items proposeacutes dans PISA 2000 pour appreacute-cier la litteacuteratie des eacutelegraveves ne renvoient pas agrave un unique registre de compeacute-tences (lrsquoaptitude agrave reacutealiser des tacircches qui srsquoinscrivent dans des situations de vie reacuteelle) mais agrave plusieurs registres diffeacuterents l Les auteurs montrent alors que le postulat de stabiliteacute et drsquohomo-geacuteneacuteiteacute des compeacutetences eacutevalueacutees par PISA nrsquoest veacuterifieacute que pour les eacutelegraveves les plus performants du systegraveme eacutedu-catif ceux-lagrave mecircmes qui peuvent facile-ment conjuguer les diffeacuterents registres de compeacutetences laisseacutes dans lrsquoimplicite par lrsquoenquecircte Autrement dit des eacuteleacute-ments contextuels varieacutes (mode de tra-vail univers de reacutefeacuterence mobiliseacuteshellip) pegravesent fortement sur les performances des eacutelegraveves au point que des eacutelegraveves peuvent reacutepondre diffeacuteremment pour des raisons qui ne relegravevent pas des simples compeacutetences de lecture et de compreacutehension de lrsquoeacutecrit qursquoon pense eacutevaluer

Des constats qui rendent sans doute plus difficile et complexe la tacircche de preacutevoir les reacuteussites ou les eacutechecs des eacutelegraveves aux enquecirctes de ce type mais aussi et surtout de penser les remeacutedia-tions possibles sur les plans institu-tionnels curriculaires et peacutedagogiques (Bautier Crinon Rayou amp Rochex 2006)

Le difficile passage des savoirs scientifiques enseigneacutes aux savoirs reacuteutiliseacutes

Dans les situations proposeacutees par PISA les deux disciplines de sciences expeacuterimentales (sciences physiques et chimiques et sciences de la vie et de la terre) peuvent ecirctre concerneacutees simulta-neacutement alors qursquoelles sont approcheacutees seacutepareacutement dans lrsquoenseignement l Les questions poseacutees par PISA ne sont pas toujours abordeacutees dans lrsquoenseignement des sciences ou font appel agrave des pers-pectives plus larges comme par exemple celle de savoir identifier ce qursquoest un pro-blegraveme scientifique par rapport agrave ce qursquoest un problegraveme de socieacuteteacute ou celle de retrou-ver lrsquoobjet laquo scientifique raquo drsquoune question au sein drsquoune probleacutematique heacuteteacuterogegravene

Les eacutelegraveves franccedilais ne sont pas familiers avec les types de questionnement utiliseacutes dans PISA qui relegravevent de situations rencontreacutees dans la vie quotidienne de lrsquoenvi-ronnement des technologies lieacutees agrave lrsquoeacutenergiehellip

Si certains eacutelegraveves font spontaneacutement le lien entre les diffeacuterents univers drsquoautres nrsquoy arrivent pas spontaneacutement Pour lrsquoenseignement des sciences cela signi-fie precircter plus drsquoattention agrave deacutevelopper un savoir laquo agrave propos de la science raquo dans lrsquoensemble des activiteacutes pour permettre agrave tous les eacutelegraveves de mieux comprendre les objectifs de lrsquoenseignement (Tiberghien 2009) La mise en place drsquoexpeacuteriences permettant de tester une hypothegravese scien-tifique et les conclusions que lrsquoon peut tirer des reacutesultats de ces expeacuteriences sont tregraves bien assimileacutes par les eacutelegraveves franccedilais Ce-pendant seuls 262 des eacutelegraveves franccedilais contre 223 en moyenne des pays de lrsquoOCDE) sont en mesure de deacutevelopper la premiegravere eacutetape indispensable agrave toute deacutemarche scientifique la recherche drsquohy-pothegraveses expeacuterimentales ou de facteurs pouvant influer sur une expeacuterience (Cop-pens Bourny amp Cavayeacute 2007)

Certains sujets se rap-prochent mecircme par-fois plus de la geacuteogra-phie que des sciences

Registre des savoirs scolaires proprement dit mais aussi registre de lrsquoexpeacuterience per-sonnelle des valeurs opinions et preacutejugeacutes des habitudes et des modes drsquointerpreacutetation usuels des situations scolaires et celui des laquo compeacutetences et des postures cognitives lieacutees agrave une accultura-tion propre agrave la litteacute-ratie raquo

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

618

Un certain nombre drsquoitems vise agrave eacuteva-luer les compeacutetences des eacutelegraveves agrave uti-liser des chiffres dans la vie reacuteelle plus qursquoagrave maitriser des savoirs matheacutema-tiques formels ce qui explique une par-tie des moins bons reacutesultats de lrsquoeacutechan-tillon franccedilais ces eacutelegraveves eacutetant plus habitueacutes agrave lrsquoacquisition de concepts matheacutematiques qursquoau deacutetour par le lan-gage laquode la vie reacuteelleraquo Dans certains cas la compreacutehension des textes qui ne sont pas purement matheacutematiques devient la principale difficulteacute que les eacutelegraveves ont agrave affronter plus que le pro-blegraveme laquo matheacutematique raquo stricto sensu (Bodin 2006)

Les eacutelegraveves franccedilais reacuteussissent ain-si beaucoup mieux les items corres-pondant agrave une formulation proche du contexte scolaire ou dont les contenus se rapprochent de lrsquoenseignement dis-penseacute en France exercices sur des supports geacuteomeacutetriques lecture de gra-phiques application et eacutetablissement de formules Ils eacuteprouvent en revanche des difficulteacutes agrave construire une relation entre des variables et obtiennent des reacute-sultats deacutecevants lorsqursquoil srsquoagit de tra-vailler sur des nombres entiers et deacuteci-maux On retrouve les mecircmes constats en comparant les pratiques des ensei-gnements britanniques et franccedilais en la matiegravere (Doyle 2008)

UNE VISIoN rENoUVELeacuteE dES SYSTegravemES eacutedUCATIfS SoUS LrsquoeacuteCLAIrAgE dES reacuteSULTATS PISA

Depuis le deacutebut des anneacutees 2000 on constate au niveau international un renouveau des eacutetudes qui prennent en compte les reacutesultats des eacutevaluations externes agrave des fins de comparaison des performances de chaque systegraveme eacutedu-catif et pour en tirer des eacuteleacutements drsquoana-lyse des pratiques eacuteducatives Lrsquoim-mense et ineacutedite base de donneacutees que constitue PISA nrsquoest bien eacutevidemment pas eacutetrangegravere agrave cette floraison drsquoeacutetudes Les chercheurs utilisent parfois directe-ment les donneacutees de PISA ou les re-traitent et les complegravetent (y compris en utilisant des donneacutees contextuelles) au travers drsquoanalyses secondaires Crsquoest

pourquoi plusieurs chercheurs plaident pour le deacuteveloppement de telles ana-lyses dans chaque pays et pour un sou-tien fort des organismes publics dans lrsquoaccegraves aux donneacutees et le financement de telles recherches

Olsen et Svein (2006) passent en revue les diffeacuterents types drsquoanalyses secon-daires en prenant comme exemple la comparaison de lrsquoenseignement des matheacutematiques en France et en Fin-lande Ces travaux ont donneacute lieu agrave une confeacuterence agrave Paris en 2005 ougrave il a no-tamment eacuteteacute constateacute que mecircme si les eacutepreuves de PISA ne couvrent qursquoune petite partie du programme de matheacute-matiques du Brevet en France (15) elles correspondent agrave un eacuteventail plus large drsquoexigences cognitives de haut niveau

La question du tronc commun et de la diffeacuterenciation

Comme le constate Mons (2008) les bases de donneacutees constitueacutees par les grandes eacutevaluations internationales permettent de dessiner des typologies de systegravemes eacuteducatifs en mettant en lumiegravere les variations sur le long terme des reacutesultats des eacutelegraveves selon les effets des politiques publiques En matiegravere drsquoeacutevaluation des politiques eacuteducatives elles permettent des analyses statis-tiques entre drsquoun cocircteacute des indicateurs de performance des systegravemes et de lrsquoautre des scheacutemas institutionnels fruits des choix politiques

Face au problegraveme de lrsquoheacuteteacuterogeacuteneacuteiteacute des publics la France relegraveve plutocirct de la famille de pays qui a adopteacute une solution drsquointeacutegration uniforme Ce modegravele est caracteacuteriseacute par un tronc commun long avec une premiegravere seacutelection officielle agrave lrsquoentreacutee dans le second cycle du secon-daire des taux de redoublement eacuteleveacutes lrsquoapparition de classes de niveau dans certains eacutetablissements degraves le premier cycle du secondaire un enseignement individualiseacute qui prend quasiment exclu-sivement la forme drsquoactions de remeacutedia-tion et un nombre significatif de sorties du systegraveme eacuteducatif sans qualification

718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Le modegravele caracteacuterise principalement la famille latine deacuteveloppeacutee (France Espagne Portugalhellip) dans laquelle le redoublement la classe de niveau et lrsquoeacutechec scolaire se transforment en variables drsquoajustement Ce modegravele srsquoinscrit davantage dans le symbo-lique ndashlrsquoeacutegaliteacute pour tousndash que dans le pragmatique faute drsquoune reacuteflexion pousseacutee sur les moyens neacutecessaires ni drsquoune politique volontariste pour at-teindre les objectifs proclameacutes (Mons 2008)

Diverses analyses secondaires des bases de donneacutees PISA 2000 2003 et 2006 permettent drsquoaboutir agrave des constats similaires susceptibles drsquoin-terpeller les responsables des poli-tiques eacuteducativesl

Les pays qui constituent des uniteacutes geacuteographiques historiques ou cultu-relles tendent agrave preacutesenter des ni-veaux drsquoineacutegaliteacutes scolaires proches remarque eacutegalement Green (2008) agrave partir drsquoune eacutetude des reacutesultats de PISA 2006 Les pays anglophones et lrsquoEurope continentale (Allemagne Belgiquehellip) preacutesentent des ineacutegaliteacutes scolaires eacuteleveacutees tandis que les pays drsquoEurope nordique et latine ainsi que les pays de lrsquoAsie de lrsquoEst sont ca-racteacuteriseacutes par des ineacutegaliteacutes faibles Dans une approche comparative qua-litative qui vise agrave mettre en eacutevidence les caracteacuteristiques qui peuvent expli-quer ces diffeacuterences reacutegionales le chercheur avance que le groupe de pays preacutesentant les plus faibles ineacute-galiteacutes scolaires est caracteacuteriseacute par un systegraveme drsquoeacutecole unique relative-ment uniforme ainsi que par de faibles pratiques de classes de niveau dans le secondaire infeacuterieur

Alegre et Ferrer (2010) ont identi-fieacute des variables fines permettant de constater lrsquoeffet important de lrsquoacircge de la premiegravere seacutelection dans le parcours eacuteducatif comme facteur de seacutegreacutega-tion ainsi que celui de la liberteacute lais-seacutee aux eacutecoles dans le choix de leur public (plus significatif que celui du laquo libre choix raquo des parents)

Les analyses de reacutegression reacutealiseacutees agrave partir des donneacutees PISA 2006 suggegraverent que les systegravemes plus orienteacutes vers des logiques de marcheacute sco-laire tendant agrave augmenter la seacutegreacutegation scolaire et so-ciale alors que ceux qui sont caracteacuteriseacutes par des logiques de scolariteacute commune (eacutecole laquocomprehensiveraquo) et de reacutegulation publique tendent agrave les reacuteduire Alegre et Ferrer (2010)

Un outil drsquoanalyse national ou reacutegional des systegravemes eacuteducatifs quelques exemples europeacuteens

Il serait trop long de citer ici toutes les eacutetudes allemandes qui se sont empareacutees de lrsquoenquecircte de lrsquoOCDE agrave la suite du choc causeacute par les premiers reacutesultats PISA sur lequel nous revenons plus loin No-tons juste que au delagrave des descriptions officielles PISA a permis de souligner les eacutecarts reacuteels dans les politiques eacuteducatives des Laumlnder et leurs reacutesultats diffeacuterencieacutes (Prenzel amp Zimmer 2006)

Au Royaume-Uni des travaux ont mis agrave jour les importantes dispariteacutes sociales dans lrsquoenseignement anglais reacuteveacuteleacutees par PISA au-delagrave des bons reacutesultats globaux (Doyle 2008)

Une eacutequipe de chercheurs hollandais ana-lysant la baisse des reacutesultats des eacutelegraveves des Pays-Bas depuis 2003 a constateacute un deacutecalage entre les compeacutetences eacutevalueacutees par PISA et les objectifs curriculaires qui dans ce pays sont de fait fixeacutes par les contenus des manuels scolaires (Kuiper amp van den Akker 2011)

Dans les pays scandinaves plusieurs recherches ont utiliseacute les donneacutees PISA pour approfondir telle ou telle partie de lrsquoanalyse du fonctionnement eacuteducatif dans une optique comparative au niveau reacutegio-nal

Ainsi comme le relegravevent Crahay et Monseur (2008) plus un pays recourt au regroupement homo-gegravene des eacutelegraveves selon des critegraveres sociaux etou acadeacutemiques minus plus le beacuteneacutefice qursquoaura un eacutelegraveve deacutefa-voriseacute de freacutequenter une eacutecole favoriseacutee sera important minus plus le deacuteficit qursquoaura un eacutelegraveve deacutefavoriseacute de freacutequenter une eacutecole deacutefavoriseacutee sera im-portant minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves faibles et les eacutelegraveves forts sera eacuteleveacute minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves deacutefavoriseacutes et les eacutelegraveves favoriseacutes sera eacuteleveacute minus plus la correacutelation entre origine sociale et performance sera eacuteleveacutee minus plus la performance moyenne en lecture sera faible

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

818

Des chercheurs (Linnakylmauml et al 2004) ont compareacute la part minoritaire des eacutelegraveves finlandais et sueacutedois situeacutes agrave des niveaux de performance en lec-ture insuffisants dans PISA afin de deacutegager les facteurs de cette moindre reacuteussite Ils ont ainsi identifieacute les fac-teurs drsquoordre socioculturels sur les-quels il est difficile drsquoagir dans lrsquoeacutecole (origine sociale immigration reacutecente) et ceux sur lesquels une action eacutedu-cative est possible par exemple pour renforcer lrsquoestime de soi des eacutelegraveves en eacutechec Une autre eacutequipe (Leino et al 2004) a utiliseacute les options finlandaises de lrsquoenquecircte PISA 2000 (chaque pays avait le droit de rajouter des questions optionnelles pour laquo son raquo eacutechantillon) afin de proceacuteder agrave une analyse secon-daire des donneacutees sur la litteacuteratie Avec ces donneacutees suppleacutementaires il a eacuteteacute possible de mieux cerner les pratiques de lecture drsquoimprimeacutes non scolaires et les activiteacutes Internet Kjaeligrnsli et Lie (2004) ont mis en lumiegravere les simila-riteacutes et les diffeacuterences entre les pays nordiques concernant les questions de compeacutetence lieacutees agrave la litteacuteratie scienti-fique dans PISAl Hvistendahl et Roe (2004) ont confronteacute la reacuteussite sco-laire en litteacuteratie des eacutelegraveves de minori-teacutes norveacutegiennes agrave partir des reacutesultats de PISA 2000 avec celle des minoriteacutes du Danemark de la Suegravede et de lrsquoAlle-magne

Pour Turmo (2004) qui a proceacutedeacute agrave une analyse des donneacutees PISA 2000 sur les pays nordiques la relation est forte avec le capital culturel des pa-rents dans plusieurs de ces pays ce qui plaide pour un renforcement de lrsquoenseignement des sciences vers les eacutelegraveves drsquoorigine culturelle moins eacuteleveacutee et pour la pertinence drsquoune approche laquo culturelle raquo de lrsquoenseignement des sciences visant agrave identifier et agrave reacuteduire les obstacles agrave la culture scientifique

Si la performance cognitive des eacutelegraveves finlandais srsquoest aveacutereacutee excellente au travers des reacutesultats de PISA 2003 leur engagement dans la scolariteacute nrsquoest pas si flatteur Pour mieux comprendre ce reacutesultat moyen constateacute dans les

reacuteponses PISA une eacutetude finlandaise (Linnakyla amp Malin 2008) a regroupeacute les eacutelegraveves en six laquo clusters raquo selon les variables drsquoacceptation par les pairs de relations entre eacutelegraveves et ensei-gnants de perceptions des valeurs de lrsquoeacutecole et de perceptions sur lrsquoimpor-tance de lrsquoeacuteducation et de lrsquoeacutecole pour leur avenir

dANS QUELLE mESUrE PEUT-oN se fier agrave PisA

On srsquoaccorde au sein mecircme de la com-munauteacute des chercheurs en eacuteducation sur le fait que le programme de lrsquoOCDE a beacuteneacuteficieacute drsquoune expertise et drsquoune attention meacutethodologique qui obligent agrave deacuteplacer la critique sur un autre ter-rain que la discussion sur le caractegravere plus ou moins rigoureux de lrsquoenquecircte elle-mecircme Cela ne preacutejuge pas en revanche drsquoautres deacutebats et interpella-tions qui peuvent conduire agrave souligner les limites de ce type drsquoenquecirctes agrave qui ont veut parfois faire dire plus qursquoelles ne peuvent signifier

Lrsquoeffet du choix des laquo 15 ans raquo

On sait que dans lrsquoeacutechantillon des eacutelegraveves franccedilais de PISA ceux qui sont colleacutegiens ont pour caracteacuteristique drsquoavoir redoubleacute alors que tous les lyceacuteens sont laquo agrave lrsquoheure raquo Si le palier drsquoorientation intervenait en France avant ou apregraves cet acircge le problegraveme ne se poserait pas en ces termes La question agrave laquelle permet de reacutepondre lrsquoenquecircte PISA est donc celle du mode de scolarisation des eacutelegraveves agrave 15 ans dans chaque pays et drsquoen infeacuterer les conseacutequences sur les compeacutetences acquises tout au long de la scolariteacute Elle ne permet pas en revanche de me-surer le poids des effets de composi-tion des eacutetablissements ou des classes sur les compeacutetences (Felouzis 2009) Lrsquoeacutechantillon des eacutelegraveves Franccedilais de lrsquoenquecircte PISA nrsquoest pas repreacutesentatif drsquoun niveau scolaire particulier agrave la dif-feacuterence drsquoautre pays qui pratiquent le passage automatique comme la Fin-lande le Royaume-Uni ou la Suegravede (Grenet 2008)

Lrsquoanalyse des regrou-pements effectueacutes a permis ensuite drsquoiden-tifier des groupes significatifs par pays ou selon le contexte geacuteographique culturel ou politique

l

918 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Certains chercheurs ont aussi fait remar-quer qursquoune telle approche eacutetait suscep-tible de peacutenaliser meacutecaniquement les approches peacutedagogiques fondeacutees sur la construction par laquo briques raquo drsquoun savoir dont le terme est fixeacute agrave la fin de lrsquoensei-gnement secondaire (lorsque les eacutelegraveves atteignent lrsquoacircge de 17 ou 18 ans) plutocirct que la constitution drsquoun laquo socle commun de connaissances raquo supposeacute atteint agrave la fin de la scolariteacute obligatoire (Prais 2003)

Drsquoautres regrettent que les eacutevaluations in-ternationales se concentrent sur les reacutesul-tats des eacutelegraveves durant ou agrave la fin de leur scolariteacute sans connaicirctre les progregraves que ces eacutelegraveves ont accomplis depuis qursquoils ont commenceacute leur scolariteacute (Tymms 2004) Ils plaident par conseacutequent pour des eacutetudes longitudinales qui prennent en compte les acquis des enfants agrave lrsquoentame de leur scolariteacute

Des questions meacutethodologiques reacutecurrentes pour ce type drsquoeacutevaluations

Alors que les comparaisons interna-tionales peuvent ecirctre pertinentes pour construire un jugement global sur la per-formance des systegravemes eacuteducatifs il faut se meacutefier de jugements plus deacutetailleacutes es-time William (2008) En particulier on ne peut tirer de conclusions trop fines sur la qualiteacute de lrsquoenseignement deacutelivreacute En effet les eacutevaluations comme PISA sont tregraves peu sensibles aux effets drsquoun enseignement de haut niveau pour trois raisons

minus compareacute au taux de reacuteussite agrave lrsquointeacute-rieur drsquoune classe drsquoacircge le taux de progression des individus reste tou-jours tregraves modeste

minus les meacutethodes standardiseacutees des tests tendent agrave supprimer les items qui montrent une grande sensibiliteacute aux variations drsquoenseignement

minus lrsquoutilisation dans PISA drsquoitems de dif-feacuterenciation (qui fonctionnent pour identifier et exclure les items non com-parables agrave travers les diffeacuterentes lan-gues) reacuteduisent la reacuteactiviteacute des eacuteva-luations agrave lrsquoenseignement

Les eacutevaluations externes internationales butent par ailleurs toujours sur la diffi-culteacute drsquoutiliser des concepts et des mots qui gardent une mecircme signification agrave tra-vers plusieurs langages mecircme si une traduction est techniquement correcte la connotation et lrsquoutilisation des mots iden-tiques peuvent varier drsquoun pays agrave lrsquoautre Il ne faut pas sous-estimer les biais issus des traductions ou des sens diffeacuterents des consignes selon les langages et les aires culturelles l

Vrignaud (2006) se demande plus fonda-mentalement si dans PISA le souci et lrsquoexigence psychomeacutetrique l nrsquoont pas pris le dessus sur lrsquoexigence drsquoeacutelabora-tion theacuteorique de ce qursquoest la litteacuteratie Il pointe notamment le risque de consideacute-rer les compeacutetences mesureacutees par PISA comme doteacutees drsquoune reacutealiteacute autonome et objective indeacutependante des contextes culturels et sociaux alors que ces com-peacutetences sont eacutetroitement deacutependantes drsquoun modegravele de mesure qui peut ecirctre lieacute agrave des types drsquoapprentissages scolaires et de milieux culturels preacuteciseacutement contex-tualiseacutes Il plaide par conseacutequent pour une meilleure prise en compte dans PISA de la deacutefinition theacuteorique (et non unique-ment psychomeacutetrique) des compeacutetences par domaines comme cela eacuteteacute fait dans le projet DESECO de lrsquoOCDE

pisa et le pilotage des systegravemes eacutedUCatifsLe laquo choc PisA raquo en ALLemAgne

Lrsquoexemple le plus connu de vaste mouve-ment de reacuteforme provoqueacute par PISA est celui de lrsquoAllemagne ougrave la preacutesentation des reacutesultats de lrsquoenquecircte internationale a provoqueacute une remise en cause de la per-ception qursquoavaient les allemands de leur systegraveme eacuteducatif voire mecircme de leurs valeurs sociales et culturelles Drsquoautres enquecirctes internationales comparatives avaient deacutejagrave souligneacute les faibles per-formances allemandes notamment en matheacutematiques mais nrsquoeacutetaient connues

Le mot laquostyleraquo a par exemple pour des franccedilais un sens tregraves litteacuteraire (le style drsquoun eacutecrivain) alors qursquoil englobe pour des anglophones des questions drsquoillustration ou de typographie

laquo La psychomeacutetrie est la science eacutetu-diant lrsquoensemble des techniques de mesures pratiqueacutees en psychologie ainsi que les techniques de validation de ces mesures Ces tech-niques concernent tous les champs de la psychologie ainsi que drsquoautres domaines de sciences connexes (comme la recherche en comportement du consommateur par exemple) mais elles ont eacuteteacute surtout deacuteve-loppeacutees agrave lrsquoorigine pour la mesure des performances intellec-tuelles raquo (Wikipedia)

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

418

de la pyramide scolaire l Les ineacutegaliteacutes sociales sont bien plus marqueacutees dans lrsquohexagone que dans la moyenne des pays deacuteveloppeacutes et une lecture attentive des reacutesultats montre un systegraveme eacuteducatif agrave lrsquoopposeacute de ce qursquoil preacutetend ecirctre mieux deacutefini par la cooptation sociale et la seacutegreacutegation des curricula que par les viseacutees deacutemocratiques du collegravege laquo unique raquo estime Felouzis (2009)

Lrsquohexagone faisant partie des pays ougrave les laquo possessions raquo culturelles sont les plus discriminantes quant aux reacutesultats des ap-prentissages il faudrait donc plutocirct cher-cher agrave diminuer lrsquoeffet de ces laquo posses-sions raquo sur les scores en compreacutehension de lrsquoeacutecrit Par ailleurs le temps de travail agrave la maison nrsquoest associeacute aux ineacutegaliteacutes sociales de compeacutetences qursquoen France en Espagne au Royaume-Uni en Italie en Belgique et surtout en Gregravece On peut donc penser qursquoune politique qui viserait en France agrave accroicirctre le temps de travail hors cours des eacutelegraveves deacutefavoriseacutes se tra-duirait par une diminution de lrsquoineacutegaliteacute so-ciale de compreacutehension de lrsquoeacutecrit (Meuret amp Morlaix 2006)

Quant agrave la perception de lrsquoutiliteacute profes-sionnelle de lrsquoeacutecole par les eacutelegraveves de 15 ans la France apparaicirct comparativement aux autres pays de lrsquoOCDE bien posi-tionneacutee mais particuliegraverement mal placeacutee dans tous les items qursquoon peut consideacute-rer comme autant drsquoindices drsquoun laquo bien ecirctre raquo agrave lrsquoeacutecole Le type de climat scolaire caracteacuteristique de la France semble ain-si combiner une mauvaise inteacutegration agrave lrsquoeacutecole avec une bonne inteacutegration au sein de ses pairs crsquoest-agrave-dire avec les autres camarades de classe (Duru-Bellat Mons amp Bydanova 2008)

Des eacutelegraveves franccedilais plus agrave lrsquoaise dans le preacutelegravevement drsquoinformations que dans lrsquoexpression drsquoeacutecrits autonomes

Lrsquoensemble des eacutevaluations converge depuis 30 ans sur le fait que les eacutelegraveves franccedilais rencontrent des difficulteacutes lorsqursquoil srsquoagit de passer du preacutelegravevement drsquoinformations dans un texte narratif agrave une observation plus autonome agrave lrsquointerpreacuteta-tion et surtout agrave lrsquoanalyse ou au commen-

taire reacutedigeacutes en reacuteponse agrave des questions ouvertes Drsquoune maniegravere geacuteneacuterale ils semblent plus compeacutetents lorsqursquoil srsquoagit de preacutelever des informations dans un do-cument ou de restituer des connaissances que lorsqursquoon leur demande de mobiliser leurs connaissances et drsquoexercer leur es-prit critique pour affronter des situations qui sortent du cadre scolaire (Grenet 2008)

A la sortie du collegravege les eacutelegraveves franccedilais ont une tendance plus forte que dans les autres pays agrave srsquoabstenir de reacutepondre aux questions agrave reacuteponses construites alors qursquoils reacuteussissent mieux aux questions de type QCM l Ce tregraves fort taux de non-reacuteponse peut laisser supposer que crsquoest peut-ecirctre dans le domaine de lrsquoexpres-sion eacutecrite plus que dans celui de la lecture proprement dite que nos eacutelegraveves eacuteprouvent le plus de difficulteacutes A score eacutegal dans drsquoautres pays de lrsquoOCDE les eacutelegraveves mecircme faibles reacutepondent aux questions qui leur sont poseacutees Le fait que les eacutelegraveves franccedilais aient manifeste-ment des reacuteticences agrave prendre le risque de donner une reacuteponse fausse alors que les eacutelegraveves des autres pays assument ce risque est tregraves certainement reacuteveacutelateur de leur crainte de voir stigmatiser leurs erreurs Les eacutelegraveves franccedilais ont en par-ticulier des problegravemes quand la reacuteponse solliciteacutee neacutecessite un effort drsquoeacutecriture impliquant des tacircches sous-jacentes drsquoordre meacuteta-cognitif les jeunes fran-ccedilais essayent systeacutematiquement de relier toute question agrave des routines scolaires et preacutefegraverent srsquoabstenir de reacutepondre quand ils ont un doute sur le type de reacuteponse agrave apporter (Reacutemond 2006) On retrouve ici une caracteacuteristique majeure de notre en-seignement qui souvent ne srsquoappuie pas sur les erreurs des eacutelegraveves mais considegravere ces erreurs comme des fautes et les sanc-tionne comme telles (Emin 2008)

Il est inteacuteressant de comparer ces constats avec ceux reacutealiseacutes agrave partir des eacutevalua-tions PIRLS de lrsquoIEA dans un domaine eacutequivalent sur les eacutelegraveves de CM1 On y constate en effet que les eacutelegraveves franccedilais sont tregraves performants lorsqursquoil srsquoagit de retrouver des informations ou de faire des infeacuterences simples mais qursquoils sont moins

Ce qui pour Baude-lot et Establet (2009) permet de conclure que les enquecirctes PISA confirment un veacuteri-table laquo gaspillage de ressources humaines raquo dans lrsquoeacuteducation fran-ccedilaise qui forme des eacutelites en petit nombre pour un grand coucirct mais doit aussi consa-crer beaucoup de moyens agrave une scolariteacute obligatoire peu effi-cace ni eacutequitable

Crsquoest particuliegraverement net en compreacutehension de lrsquoeacutecrit mecircme si ce constat concerne lrsquoen-semble des domaines eacutevalueacutes

l

l

518 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

agrave lrsquoaise quand il srsquoagit drsquointerpreacuteter ou de produire des eacutecrits faisant appel agrave la reacuteflexion critique Reacutemond (2007) en conclut que lrsquoempan des tacircches propo-seacute agrave lrsquoeacutecole est sans doute trop eacutetroit et ne sollicite qursquoune compreacutehension immeacutediate et de surface des textes

Des reacutesultats drsquoeacutevaluations qui ne font pas qursquoeacutevaluer de laquo simples raquo compeacutetences de lecture et drsquoeacutecriture

Dans une analyse secondaire de PISA 2000 plusieurs chercheurs du labora-toire Escol (Universiteacute Paris 8) ont pro-poseacute un nouveau traitement statistique des reacuteponses de 800 eacutelegraveves franccedilais agrave partir drsquohypothegraveses theacuteoriques diffeacute-rentes

Les auteurs supposent que les items proposeacutes dans PISA 2000 pour appreacute-cier la litteacuteratie des eacutelegraveves ne renvoient pas agrave un unique registre de compeacute-tences (lrsquoaptitude agrave reacutealiser des tacircches qui srsquoinscrivent dans des situations de vie reacuteelle) mais agrave plusieurs registres diffeacuterents l Les auteurs montrent alors que le postulat de stabiliteacute et drsquohomo-geacuteneacuteiteacute des compeacutetences eacutevalueacutees par PISA nrsquoest veacuterifieacute que pour les eacutelegraveves les plus performants du systegraveme eacutedu-catif ceux-lagrave mecircmes qui peuvent facile-ment conjuguer les diffeacuterents registres de compeacutetences laisseacutes dans lrsquoimplicite par lrsquoenquecircte Autrement dit des eacuteleacute-ments contextuels varieacutes (mode de tra-vail univers de reacutefeacuterence mobiliseacuteshellip) pegravesent fortement sur les performances des eacutelegraveves au point que des eacutelegraveves peuvent reacutepondre diffeacuteremment pour des raisons qui ne relegravevent pas des simples compeacutetences de lecture et de compreacutehension de lrsquoeacutecrit qursquoon pense eacutevaluer

Des constats qui rendent sans doute plus difficile et complexe la tacircche de preacutevoir les reacuteussites ou les eacutechecs des eacutelegraveves aux enquecirctes de ce type mais aussi et surtout de penser les remeacutedia-tions possibles sur les plans institu-tionnels curriculaires et peacutedagogiques (Bautier Crinon Rayou amp Rochex 2006)

Le difficile passage des savoirs scientifiques enseigneacutes aux savoirs reacuteutiliseacutes

Dans les situations proposeacutees par PISA les deux disciplines de sciences expeacuterimentales (sciences physiques et chimiques et sciences de la vie et de la terre) peuvent ecirctre concerneacutees simulta-neacutement alors qursquoelles sont approcheacutees seacutepareacutement dans lrsquoenseignement l Les questions poseacutees par PISA ne sont pas toujours abordeacutees dans lrsquoenseignement des sciences ou font appel agrave des pers-pectives plus larges comme par exemple celle de savoir identifier ce qursquoest un pro-blegraveme scientifique par rapport agrave ce qursquoest un problegraveme de socieacuteteacute ou celle de retrou-ver lrsquoobjet laquo scientifique raquo drsquoune question au sein drsquoune probleacutematique heacuteteacuterogegravene

Les eacutelegraveves franccedilais ne sont pas familiers avec les types de questionnement utiliseacutes dans PISA qui relegravevent de situations rencontreacutees dans la vie quotidienne de lrsquoenvi-ronnement des technologies lieacutees agrave lrsquoeacutenergiehellip

Si certains eacutelegraveves font spontaneacutement le lien entre les diffeacuterents univers drsquoautres nrsquoy arrivent pas spontaneacutement Pour lrsquoenseignement des sciences cela signi-fie precircter plus drsquoattention agrave deacutevelopper un savoir laquo agrave propos de la science raquo dans lrsquoensemble des activiteacutes pour permettre agrave tous les eacutelegraveves de mieux comprendre les objectifs de lrsquoenseignement (Tiberghien 2009) La mise en place drsquoexpeacuteriences permettant de tester une hypothegravese scien-tifique et les conclusions que lrsquoon peut tirer des reacutesultats de ces expeacuteriences sont tregraves bien assimileacutes par les eacutelegraveves franccedilais Ce-pendant seuls 262 des eacutelegraveves franccedilais contre 223 en moyenne des pays de lrsquoOCDE) sont en mesure de deacutevelopper la premiegravere eacutetape indispensable agrave toute deacutemarche scientifique la recherche drsquohy-pothegraveses expeacuterimentales ou de facteurs pouvant influer sur une expeacuterience (Cop-pens Bourny amp Cavayeacute 2007)

Certains sujets se rap-prochent mecircme par-fois plus de la geacuteogra-phie que des sciences

Registre des savoirs scolaires proprement dit mais aussi registre de lrsquoexpeacuterience per-sonnelle des valeurs opinions et preacutejugeacutes des habitudes et des modes drsquointerpreacutetation usuels des situations scolaires et celui des laquo compeacutetences et des postures cognitives lieacutees agrave une accultura-tion propre agrave la litteacute-ratie raquo

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

618

Un certain nombre drsquoitems vise agrave eacuteva-luer les compeacutetences des eacutelegraveves agrave uti-liser des chiffres dans la vie reacuteelle plus qursquoagrave maitriser des savoirs matheacutema-tiques formels ce qui explique une par-tie des moins bons reacutesultats de lrsquoeacutechan-tillon franccedilais ces eacutelegraveves eacutetant plus habitueacutes agrave lrsquoacquisition de concepts matheacutematiques qursquoau deacutetour par le lan-gage laquode la vie reacuteelleraquo Dans certains cas la compreacutehension des textes qui ne sont pas purement matheacutematiques devient la principale difficulteacute que les eacutelegraveves ont agrave affronter plus que le pro-blegraveme laquo matheacutematique raquo stricto sensu (Bodin 2006)

Les eacutelegraveves franccedilais reacuteussissent ain-si beaucoup mieux les items corres-pondant agrave une formulation proche du contexte scolaire ou dont les contenus se rapprochent de lrsquoenseignement dis-penseacute en France exercices sur des supports geacuteomeacutetriques lecture de gra-phiques application et eacutetablissement de formules Ils eacuteprouvent en revanche des difficulteacutes agrave construire une relation entre des variables et obtiennent des reacute-sultats deacutecevants lorsqursquoil srsquoagit de tra-vailler sur des nombres entiers et deacuteci-maux On retrouve les mecircmes constats en comparant les pratiques des ensei-gnements britanniques et franccedilais en la matiegravere (Doyle 2008)

UNE VISIoN rENoUVELeacuteE dES SYSTegravemES eacutedUCATIfS SoUS LrsquoeacuteCLAIrAgE dES reacuteSULTATS PISA

Depuis le deacutebut des anneacutees 2000 on constate au niveau international un renouveau des eacutetudes qui prennent en compte les reacutesultats des eacutevaluations externes agrave des fins de comparaison des performances de chaque systegraveme eacutedu-catif et pour en tirer des eacuteleacutements drsquoana-lyse des pratiques eacuteducatives Lrsquoim-mense et ineacutedite base de donneacutees que constitue PISA nrsquoest bien eacutevidemment pas eacutetrangegravere agrave cette floraison drsquoeacutetudes Les chercheurs utilisent parfois directe-ment les donneacutees de PISA ou les re-traitent et les complegravetent (y compris en utilisant des donneacutees contextuelles) au travers drsquoanalyses secondaires Crsquoest

pourquoi plusieurs chercheurs plaident pour le deacuteveloppement de telles ana-lyses dans chaque pays et pour un sou-tien fort des organismes publics dans lrsquoaccegraves aux donneacutees et le financement de telles recherches

Olsen et Svein (2006) passent en revue les diffeacuterents types drsquoanalyses secon-daires en prenant comme exemple la comparaison de lrsquoenseignement des matheacutematiques en France et en Fin-lande Ces travaux ont donneacute lieu agrave une confeacuterence agrave Paris en 2005 ougrave il a no-tamment eacuteteacute constateacute que mecircme si les eacutepreuves de PISA ne couvrent qursquoune petite partie du programme de matheacute-matiques du Brevet en France (15) elles correspondent agrave un eacuteventail plus large drsquoexigences cognitives de haut niveau

La question du tronc commun et de la diffeacuterenciation

Comme le constate Mons (2008) les bases de donneacutees constitueacutees par les grandes eacutevaluations internationales permettent de dessiner des typologies de systegravemes eacuteducatifs en mettant en lumiegravere les variations sur le long terme des reacutesultats des eacutelegraveves selon les effets des politiques publiques En matiegravere drsquoeacutevaluation des politiques eacuteducatives elles permettent des analyses statis-tiques entre drsquoun cocircteacute des indicateurs de performance des systegravemes et de lrsquoautre des scheacutemas institutionnels fruits des choix politiques

Face au problegraveme de lrsquoheacuteteacuterogeacuteneacuteiteacute des publics la France relegraveve plutocirct de la famille de pays qui a adopteacute une solution drsquointeacutegration uniforme Ce modegravele est caracteacuteriseacute par un tronc commun long avec une premiegravere seacutelection officielle agrave lrsquoentreacutee dans le second cycle du secon-daire des taux de redoublement eacuteleveacutes lrsquoapparition de classes de niveau dans certains eacutetablissements degraves le premier cycle du secondaire un enseignement individualiseacute qui prend quasiment exclu-sivement la forme drsquoactions de remeacutedia-tion et un nombre significatif de sorties du systegraveme eacuteducatif sans qualification

718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Le modegravele caracteacuterise principalement la famille latine deacuteveloppeacutee (France Espagne Portugalhellip) dans laquelle le redoublement la classe de niveau et lrsquoeacutechec scolaire se transforment en variables drsquoajustement Ce modegravele srsquoinscrit davantage dans le symbo-lique ndashlrsquoeacutegaliteacute pour tousndash que dans le pragmatique faute drsquoune reacuteflexion pousseacutee sur les moyens neacutecessaires ni drsquoune politique volontariste pour at-teindre les objectifs proclameacutes (Mons 2008)

Diverses analyses secondaires des bases de donneacutees PISA 2000 2003 et 2006 permettent drsquoaboutir agrave des constats similaires susceptibles drsquoin-terpeller les responsables des poli-tiques eacuteducativesl

Les pays qui constituent des uniteacutes geacuteographiques historiques ou cultu-relles tendent agrave preacutesenter des ni-veaux drsquoineacutegaliteacutes scolaires proches remarque eacutegalement Green (2008) agrave partir drsquoune eacutetude des reacutesultats de PISA 2006 Les pays anglophones et lrsquoEurope continentale (Allemagne Belgiquehellip) preacutesentent des ineacutegaliteacutes scolaires eacuteleveacutees tandis que les pays drsquoEurope nordique et latine ainsi que les pays de lrsquoAsie de lrsquoEst sont ca-racteacuteriseacutes par des ineacutegaliteacutes faibles Dans une approche comparative qua-litative qui vise agrave mettre en eacutevidence les caracteacuteristiques qui peuvent expli-quer ces diffeacuterences reacutegionales le chercheur avance que le groupe de pays preacutesentant les plus faibles ineacute-galiteacutes scolaires est caracteacuteriseacute par un systegraveme drsquoeacutecole unique relative-ment uniforme ainsi que par de faibles pratiques de classes de niveau dans le secondaire infeacuterieur

Alegre et Ferrer (2010) ont identi-fieacute des variables fines permettant de constater lrsquoeffet important de lrsquoacircge de la premiegravere seacutelection dans le parcours eacuteducatif comme facteur de seacutegreacutega-tion ainsi que celui de la liberteacute lais-seacutee aux eacutecoles dans le choix de leur public (plus significatif que celui du laquo libre choix raquo des parents)

Les analyses de reacutegression reacutealiseacutees agrave partir des donneacutees PISA 2006 suggegraverent que les systegravemes plus orienteacutes vers des logiques de marcheacute sco-laire tendant agrave augmenter la seacutegreacutegation scolaire et so-ciale alors que ceux qui sont caracteacuteriseacutes par des logiques de scolariteacute commune (eacutecole laquocomprehensiveraquo) et de reacutegulation publique tendent agrave les reacuteduire Alegre et Ferrer (2010)

Un outil drsquoanalyse national ou reacutegional des systegravemes eacuteducatifs quelques exemples europeacuteens

Il serait trop long de citer ici toutes les eacutetudes allemandes qui se sont empareacutees de lrsquoenquecircte de lrsquoOCDE agrave la suite du choc causeacute par les premiers reacutesultats PISA sur lequel nous revenons plus loin No-tons juste que au delagrave des descriptions officielles PISA a permis de souligner les eacutecarts reacuteels dans les politiques eacuteducatives des Laumlnder et leurs reacutesultats diffeacuterencieacutes (Prenzel amp Zimmer 2006)

Au Royaume-Uni des travaux ont mis agrave jour les importantes dispariteacutes sociales dans lrsquoenseignement anglais reacuteveacuteleacutees par PISA au-delagrave des bons reacutesultats globaux (Doyle 2008)

Une eacutequipe de chercheurs hollandais ana-lysant la baisse des reacutesultats des eacutelegraveves des Pays-Bas depuis 2003 a constateacute un deacutecalage entre les compeacutetences eacutevalueacutees par PISA et les objectifs curriculaires qui dans ce pays sont de fait fixeacutes par les contenus des manuels scolaires (Kuiper amp van den Akker 2011)

Dans les pays scandinaves plusieurs recherches ont utiliseacute les donneacutees PISA pour approfondir telle ou telle partie de lrsquoanalyse du fonctionnement eacuteducatif dans une optique comparative au niveau reacutegio-nal

Ainsi comme le relegravevent Crahay et Monseur (2008) plus un pays recourt au regroupement homo-gegravene des eacutelegraveves selon des critegraveres sociaux etou acadeacutemiques minus plus le beacuteneacutefice qursquoaura un eacutelegraveve deacutefa-voriseacute de freacutequenter une eacutecole favoriseacutee sera important minus plus le deacuteficit qursquoaura un eacutelegraveve deacutefavoriseacute de freacutequenter une eacutecole deacutefavoriseacutee sera im-portant minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves faibles et les eacutelegraveves forts sera eacuteleveacute minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves deacutefavoriseacutes et les eacutelegraveves favoriseacutes sera eacuteleveacute minus plus la correacutelation entre origine sociale et performance sera eacuteleveacutee minus plus la performance moyenne en lecture sera faible

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

818

Des chercheurs (Linnakylmauml et al 2004) ont compareacute la part minoritaire des eacutelegraveves finlandais et sueacutedois situeacutes agrave des niveaux de performance en lec-ture insuffisants dans PISA afin de deacutegager les facteurs de cette moindre reacuteussite Ils ont ainsi identifieacute les fac-teurs drsquoordre socioculturels sur les-quels il est difficile drsquoagir dans lrsquoeacutecole (origine sociale immigration reacutecente) et ceux sur lesquels une action eacutedu-cative est possible par exemple pour renforcer lrsquoestime de soi des eacutelegraveves en eacutechec Une autre eacutequipe (Leino et al 2004) a utiliseacute les options finlandaises de lrsquoenquecircte PISA 2000 (chaque pays avait le droit de rajouter des questions optionnelles pour laquo son raquo eacutechantillon) afin de proceacuteder agrave une analyse secon-daire des donneacutees sur la litteacuteratie Avec ces donneacutees suppleacutementaires il a eacuteteacute possible de mieux cerner les pratiques de lecture drsquoimprimeacutes non scolaires et les activiteacutes Internet Kjaeligrnsli et Lie (2004) ont mis en lumiegravere les simila-riteacutes et les diffeacuterences entre les pays nordiques concernant les questions de compeacutetence lieacutees agrave la litteacuteratie scienti-fique dans PISAl Hvistendahl et Roe (2004) ont confronteacute la reacuteussite sco-laire en litteacuteratie des eacutelegraveves de minori-teacutes norveacutegiennes agrave partir des reacutesultats de PISA 2000 avec celle des minoriteacutes du Danemark de la Suegravede et de lrsquoAlle-magne

Pour Turmo (2004) qui a proceacutedeacute agrave une analyse des donneacutees PISA 2000 sur les pays nordiques la relation est forte avec le capital culturel des pa-rents dans plusieurs de ces pays ce qui plaide pour un renforcement de lrsquoenseignement des sciences vers les eacutelegraveves drsquoorigine culturelle moins eacuteleveacutee et pour la pertinence drsquoune approche laquo culturelle raquo de lrsquoenseignement des sciences visant agrave identifier et agrave reacuteduire les obstacles agrave la culture scientifique

Si la performance cognitive des eacutelegraveves finlandais srsquoest aveacutereacutee excellente au travers des reacutesultats de PISA 2003 leur engagement dans la scolariteacute nrsquoest pas si flatteur Pour mieux comprendre ce reacutesultat moyen constateacute dans les

reacuteponses PISA une eacutetude finlandaise (Linnakyla amp Malin 2008) a regroupeacute les eacutelegraveves en six laquo clusters raquo selon les variables drsquoacceptation par les pairs de relations entre eacutelegraveves et ensei-gnants de perceptions des valeurs de lrsquoeacutecole et de perceptions sur lrsquoimpor-tance de lrsquoeacuteducation et de lrsquoeacutecole pour leur avenir

dANS QUELLE mESUrE PEUT-oN se fier agrave PisA

On srsquoaccorde au sein mecircme de la com-munauteacute des chercheurs en eacuteducation sur le fait que le programme de lrsquoOCDE a beacuteneacuteficieacute drsquoune expertise et drsquoune attention meacutethodologique qui obligent agrave deacuteplacer la critique sur un autre ter-rain que la discussion sur le caractegravere plus ou moins rigoureux de lrsquoenquecircte elle-mecircme Cela ne preacutejuge pas en revanche drsquoautres deacutebats et interpella-tions qui peuvent conduire agrave souligner les limites de ce type drsquoenquecirctes agrave qui ont veut parfois faire dire plus qursquoelles ne peuvent signifier

Lrsquoeffet du choix des laquo 15 ans raquo

On sait que dans lrsquoeacutechantillon des eacutelegraveves franccedilais de PISA ceux qui sont colleacutegiens ont pour caracteacuteristique drsquoavoir redoubleacute alors que tous les lyceacuteens sont laquo agrave lrsquoheure raquo Si le palier drsquoorientation intervenait en France avant ou apregraves cet acircge le problegraveme ne se poserait pas en ces termes La question agrave laquelle permet de reacutepondre lrsquoenquecircte PISA est donc celle du mode de scolarisation des eacutelegraveves agrave 15 ans dans chaque pays et drsquoen infeacuterer les conseacutequences sur les compeacutetences acquises tout au long de la scolariteacute Elle ne permet pas en revanche de me-surer le poids des effets de composi-tion des eacutetablissements ou des classes sur les compeacutetences (Felouzis 2009) Lrsquoeacutechantillon des eacutelegraveves Franccedilais de lrsquoenquecircte PISA nrsquoest pas repreacutesentatif drsquoun niveau scolaire particulier agrave la dif-feacuterence drsquoautre pays qui pratiquent le passage automatique comme la Fin-lande le Royaume-Uni ou la Suegravede (Grenet 2008)

Lrsquoanalyse des regrou-pements effectueacutes a permis ensuite drsquoiden-tifier des groupes significatifs par pays ou selon le contexte geacuteographique culturel ou politique

l

918 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Certains chercheurs ont aussi fait remar-quer qursquoune telle approche eacutetait suscep-tible de peacutenaliser meacutecaniquement les approches peacutedagogiques fondeacutees sur la construction par laquo briques raquo drsquoun savoir dont le terme est fixeacute agrave la fin de lrsquoensei-gnement secondaire (lorsque les eacutelegraveves atteignent lrsquoacircge de 17 ou 18 ans) plutocirct que la constitution drsquoun laquo socle commun de connaissances raquo supposeacute atteint agrave la fin de la scolariteacute obligatoire (Prais 2003)

Drsquoautres regrettent que les eacutevaluations in-ternationales se concentrent sur les reacutesul-tats des eacutelegraveves durant ou agrave la fin de leur scolariteacute sans connaicirctre les progregraves que ces eacutelegraveves ont accomplis depuis qursquoils ont commenceacute leur scolariteacute (Tymms 2004) Ils plaident par conseacutequent pour des eacutetudes longitudinales qui prennent en compte les acquis des enfants agrave lrsquoentame de leur scolariteacute

Des questions meacutethodologiques reacutecurrentes pour ce type drsquoeacutevaluations

Alors que les comparaisons interna-tionales peuvent ecirctre pertinentes pour construire un jugement global sur la per-formance des systegravemes eacuteducatifs il faut se meacutefier de jugements plus deacutetailleacutes es-time William (2008) En particulier on ne peut tirer de conclusions trop fines sur la qualiteacute de lrsquoenseignement deacutelivreacute En effet les eacutevaluations comme PISA sont tregraves peu sensibles aux effets drsquoun enseignement de haut niveau pour trois raisons

minus compareacute au taux de reacuteussite agrave lrsquointeacute-rieur drsquoune classe drsquoacircge le taux de progression des individus reste tou-jours tregraves modeste

minus les meacutethodes standardiseacutees des tests tendent agrave supprimer les items qui montrent une grande sensibiliteacute aux variations drsquoenseignement

minus lrsquoutilisation dans PISA drsquoitems de dif-feacuterenciation (qui fonctionnent pour identifier et exclure les items non com-parables agrave travers les diffeacuterentes lan-gues) reacuteduisent la reacuteactiviteacute des eacuteva-luations agrave lrsquoenseignement

Les eacutevaluations externes internationales butent par ailleurs toujours sur la diffi-culteacute drsquoutiliser des concepts et des mots qui gardent une mecircme signification agrave tra-vers plusieurs langages mecircme si une traduction est techniquement correcte la connotation et lrsquoutilisation des mots iden-tiques peuvent varier drsquoun pays agrave lrsquoautre Il ne faut pas sous-estimer les biais issus des traductions ou des sens diffeacuterents des consignes selon les langages et les aires culturelles l

Vrignaud (2006) se demande plus fonda-mentalement si dans PISA le souci et lrsquoexigence psychomeacutetrique l nrsquoont pas pris le dessus sur lrsquoexigence drsquoeacutelabora-tion theacuteorique de ce qursquoest la litteacuteratie Il pointe notamment le risque de consideacute-rer les compeacutetences mesureacutees par PISA comme doteacutees drsquoune reacutealiteacute autonome et objective indeacutependante des contextes culturels et sociaux alors que ces com-peacutetences sont eacutetroitement deacutependantes drsquoun modegravele de mesure qui peut ecirctre lieacute agrave des types drsquoapprentissages scolaires et de milieux culturels preacuteciseacutement contex-tualiseacutes Il plaide par conseacutequent pour une meilleure prise en compte dans PISA de la deacutefinition theacuteorique (et non unique-ment psychomeacutetrique) des compeacutetences par domaines comme cela eacuteteacute fait dans le projet DESECO de lrsquoOCDE

pisa et le pilotage des systegravemes eacutedUCatifsLe laquo choc PisA raquo en ALLemAgne

Lrsquoexemple le plus connu de vaste mouve-ment de reacuteforme provoqueacute par PISA est celui de lrsquoAllemagne ougrave la preacutesentation des reacutesultats de lrsquoenquecircte internationale a provoqueacute une remise en cause de la per-ception qursquoavaient les allemands de leur systegraveme eacuteducatif voire mecircme de leurs valeurs sociales et culturelles Drsquoautres enquecirctes internationales comparatives avaient deacutejagrave souligneacute les faibles per-formances allemandes notamment en matheacutematiques mais nrsquoeacutetaient connues

Le mot laquostyleraquo a par exemple pour des franccedilais un sens tregraves litteacuteraire (le style drsquoun eacutecrivain) alors qursquoil englobe pour des anglophones des questions drsquoillustration ou de typographie

laquo La psychomeacutetrie est la science eacutetu-diant lrsquoensemble des techniques de mesures pratiqueacutees en psychologie ainsi que les techniques de validation de ces mesures Ces tech-niques concernent tous les champs de la psychologie ainsi que drsquoautres domaines de sciences connexes (comme la recherche en comportement du consommateur par exemple) mais elles ont eacuteteacute surtout deacuteve-loppeacutees agrave lrsquoorigine pour la mesure des performances intellec-tuelles raquo (Wikipedia)

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

518 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

agrave lrsquoaise quand il srsquoagit drsquointerpreacuteter ou de produire des eacutecrits faisant appel agrave la reacuteflexion critique Reacutemond (2007) en conclut que lrsquoempan des tacircches propo-seacute agrave lrsquoeacutecole est sans doute trop eacutetroit et ne sollicite qursquoune compreacutehension immeacutediate et de surface des textes

Des reacutesultats drsquoeacutevaluations qui ne font pas qursquoeacutevaluer de laquo simples raquo compeacutetences de lecture et drsquoeacutecriture

Dans une analyse secondaire de PISA 2000 plusieurs chercheurs du labora-toire Escol (Universiteacute Paris 8) ont pro-poseacute un nouveau traitement statistique des reacuteponses de 800 eacutelegraveves franccedilais agrave partir drsquohypothegraveses theacuteoriques diffeacute-rentes

Les auteurs supposent que les items proposeacutes dans PISA 2000 pour appreacute-cier la litteacuteratie des eacutelegraveves ne renvoient pas agrave un unique registre de compeacute-tences (lrsquoaptitude agrave reacutealiser des tacircches qui srsquoinscrivent dans des situations de vie reacuteelle) mais agrave plusieurs registres diffeacuterents l Les auteurs montrent alors que le postulat de stabiliteacute et drsquohomo-geacuteneacuteiteacute des compeacutetences eacutevalueacutees par PISA nrsquoest veacuterifieacute que pour les eacutelegraveves les plus performants du systegraveme eacutedu-catif ceux-lagrave mecircmes qui peuvent facile-ment conjuguer les diffeacuterents registres de compeacutetences laisseacutes dans lrsquoimplicite par lrsquoenquecircte Autrement dit des eacuteleacute-ments contextuels varieacutes (mode de tra-vail univers de reacutefeacuterence mobiliseacuteshellip) pegravesent fortement sur les performances des eacutelegraveves au point que des eacutelegraveves peuvent reacutepondre diffeacuteremment pour des raisons qui ne relegravevent pas des simples compeacutetences de lecture et de compreacutehension de lrsquoeacutecrit qursquoon pense eacutevaluer

Des constats qui rendent sans doute plus difficile et complexe la tacircche de preacutevoir les reacuteussites ou les eacutechecs des eacutelegraveves aux enquecirctes de ce type mais aussi et surtout de penser les remeacutedia-tions possibles sur les plans institu-tionnels curriculaires et peacutedagogiques (Bautier Crinon Rayou amp Rochex 2006)

Le difficile passage des savoirs scientifiques enseigneacutes aux savoirs reacuteutiliseacutes

Dans les situations proposeacutees par PISA les deux disciplines de sciences expeacuterimentales (sciences physiques et chimiques et sciences de la vie et de la terre) peuvent ecirctre concerneacutees simulta-neacutement alors qursquoelles sont approcheacutees seacutepareacutement dans lrsquoenseignement l Les questions poseacutees par PISA ne sont pas toujours abordeacutees dans lrsquoenseignement des sciences ou font appel agrave des pers-pectives plus larges comme par exemple celle de savoir identifier ce qursquoest un pro-blegraveme scientifique par rapport agrave ce qursquoest un problegraveme de socieacuteteacute ou celle de retrou-ver lrsquoobjet laquo scientifique raquo drsquoune question au sein drsquoune probleacutematique heacuteteacuterogegravene

Les eacutelegraveves franccedilais ne sont pas familiers avec les types de questionnement utiliseacutes dans PISA qui relegravevent de situations rencontreacutees dans la vie quotidienne de lrsquoenvi-ronnement des technologies lieacutees agrave lrsquoeacutenergiehellip

Si certains eacutelegraveves font spontaneacutement le lien entre les diffeacuterents univers drsquoautres nrsquoy arrivent pas spontaneacutement Pour lrsquoenseignement des sciences cela signi-fie precircter plus drsquoattention agrave deacutevelopper un savoir laquo agrave propos de la science raquo dans lrsquoensemble des activiteacutes pour permettre agrave tous les eacutelegraveves de mieux comprendre les objectifs de lrsquoenseignement (Tiberghien 2009) La mise en place drsquoexpeacuteriences permettant de tester une hypothegravese scien-tifique et les conclusions que lrsquoon peut tirer des reacutesultats de ces expeacuteriences sont tregraves bien assimileacutes par les eacutelegraveves franccedilais Ce-pendant seuls 262 des eacutelegraveves franccedilais contre 223 en moyenne des pays de lrsquoOCDE) sont en mesure de deacutevelopper la premiegravere eacutetape indispensable agrave toute deacutemarche scientifique la recherche drsquohy-pothegraveses expeacuterimentales ou de facteurs pouvant influer sur une expeacuterience (Cop-pens Bourny amp Cavayeacute 2007)

Certains sujets se rap-prochent mecircme par-fois plus de la geacuteogra-phie que des sciences

Registre des savoirs scolaires proprement dit mais aussi registre de lrsquoexpeacuterience per-sonnelle des valeurs opinions et preacutejugeacutes des habitudes et des modes drsquointerpreacutetation usuels des situations scolaires et celui des laquo compeacutetences et des postures cognitives lieacutees agrave une accultura-tion propre agrave la litteacute-ratie raquo

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

618

Un certain nombre drsquoitems vise agrave eacuteva-luer les compeacutetences des eacutelegraveves agrave uti-liser des chiffres dans la vie reacuteelle plus qursquoagrave maitriser des savoirs matheacutema-tiques formels ce qui explique une par-tie des moins bons reacutesultats de lrsquoeacutechan-tillon franccedilais ces eacutelegraveves eacutetant plus habitueacutes agrave lrsquoacquisition de concepts matheacutematiques qursquoau deacutetour par le lan-gage laquode la vie reacuteelleraquo Dans certains cas la compreacutehension des textes qui ne sont pas purement matheacutematiques devient la principale difficulteacute que les eacutelegraveves ont agrave affronter plus que le pro-blegraveme laquo matheacutematique raquo stricto sensu (Bodin 2006)

Les eacutelegraveves franccedilais reacuteussissent ain-si beaucoup mieux les items corres-pondant agrave une formulation proche du contexte scolaire ou dont les contenus se rapprochent de lrsquoenseignement dis-penseacute en France exercices sur des supports geacuteomeacutetriques lecture de gra-phiques application et eacutetablissement de formules Ils eacuteprouvent en revanche des difficulteacutes agrave construire une relation entre des variables et obtiennent des reacute-sultats deacutecevants lorsqursquoil srsquoagit de tra-vailler sur des nombres entiers et deacuteci-maux On retrouve les mecircmes constats en comparant les pratiques des ensei-gnements britanniques et franccedilais en la matiegravere (Doyle 2008)

UNE VISIoN rENoUVELeacuteE dES SYSTegravemES eacutedUCATIfS SoUS LrsquoeacuteCLAIrAgE dES reacuteSULTATS PISA

Depuis le deacutebut des anneacutees 2000 on constate au niveau international un renouveau des eacutetudes qui prennent en compte les reacutesultats des eacutevaluations externes agrave des fins de comparaison des performances de chaque systegraveme eacutedu-catif et pour en tirer des eacuteleacutements drsquoana-lyse des pratiques eacuteducatives Lrsquoim-mense et ineacutedite base de donneacutees que constitue PISA nrsquoest bien eacutevidemment pas eacutetrangegravere agrave cette floraison drsquoeacutetudes Les chercheurs utilisent parfois directe-ment les donneacutees de PISA ou les re-traitent et les complegravetent (y compris en utilisant des donneacutees contextuelles) au travers drsquoanalyses secondaires Crsquoest

pourquoi plusieurs chercheurs plaident pour le deacuteveloppement de telles ana-lyses dans chaque pays et pour un sou-tien fort des organismes publics dans lrsquoaccegraves aux donneacutees et le financement de telles recherches

Olsen et Svein (2006) passent en revue les diffeacuterents types drsquoanalyses secon-daires en prenant comme exemple la comparaison de lrsquoenseignement des matheacutematiques en France et en Fin-lande Ces travaux ont donneacute lieu agrave une confeacuterence agrave Paris en 2005 ougrave il a no-tamment eacuteteacute constateacute que mecircme si les eacutepreuves de PISA ne couvrent qursquoune petite partie du programme de matheacute-matiques du Brevet en France (15) elles correspondent agrave un eacuteventail plus large drsquoexigences cognitives de haut niveau

La question du tronc commun et de la diffeacuterenciation

Comme le constate Mons (2008) les bases de donneacutees constitueacutees par les grandes eacutevaluations internationales permettent de dessiner des typologies de systegravemes eacuteducatifs en mettant en lumiegravere les variations sur le long terme des reacutesultats des eacutelegraveves selon les effets des politiques publiques En matiegravere drsquoeacutevaluation des politiques eacuteducatives elles permettent des analyses statis-tiques entre drsquoun cocircteacute des indicateurs de performance des systegravemes et de lrsquoautre des scheacutemas institutionnels fruits des choix politiques

Face au problegraveme de lrsquoheacuteteacuterogeacuteneacuteiteacute des publics la France relegraveve plutocirct de la famille de pays qui a adopteacute une solution drsquointeacutegration uniforme Ce modegravele est caracteacuteriseacute par un tronc commun long avec une premiegravere seacutelection officielle agrave lrsquoentreacutee dans le second cycle du secon-daire des taux de redoublement eacuteleveacutes lrsquoapparition de classes de niveau dans certains eacutetablissements degraves le premier cycle du secondaire un enseignement individualiseacute qui prend quasiment exclu-sivement la forme drsquoactions de remeacutedia-tion et un nombre significatif de sorties du systegraveme eacuteducatif sans qualification

718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Le modegravele caracteacuterise principalement la famille latine deacuteveloppeacutee (France Espagne Portugalhellip) dans laquelle le redoublement la classe de niveau et lrsquoeacutechec scolaire se transforment en variables drsquoajustement Ce modegravele srsquoinscrit davantage dans le symbo-lique ndashlrsquoeacutegaliteacute pour tousndash que dans le pragmatique faute drsquoune reacuteflexion pousseacutee sur les moyens neacutecessaires ni drsquoune politique volontariste pour at-teindre les objectifs proclameacutes (Mons 2008)

Diverses analyses secondaires des bases de donneacutees PISA 2000 2003 et 2006 permettent drsquoaboutir agrave des constats similaires susceptibles drsquoin-terpeller les responsables des poli-tiques eacuteducativesl

Les pays qui constituent des uniteacutes geacuteographiques historiques ou cultu-relles tendent agrave preacutesenter des ni-veaux drsquoineacutegaliteacutes scolaires proches remarque eacutegalement Green (2008) agrave partir drsquoune eacutetude des reacutesultats de PISA 2006 Les pays anglophones et lrsquoEurope continentale (Allemagne Belgiquehellip) preacutesentent des ineacutegaliteacutes scolaires eacuteleveacutees tandis que les pays drsquoEurope nordique et latine ainsi que les pays de lrsquoAsie de lrsquoEst sont ca-racteacuteriseacutes par des ineacutegaliteacutes faibles Dans une approche comparative qua-litative qui vise agrave mettre en eacutevidence les caracteacuteristiques qui peuvent expli-quer ces diffeacuterences reacutegionales le chercheur avance que le groupe de pays preacutesentant les plus faibles ineacute-galiteacutes scolaires est caracteacuteriseacute par un systegraveme drsquoeacutecole unique relative-ment uniforme ainsi que par de faibles pratiques de classes de niveau dans le secondaire infeacuterieur

Alegre et Ferrer (2010) ont identi-fieacute des variables fines permettant de constater lrsquoeffet important de lrsquoacircge de la premiegravere seacutelection dans le parcours eacuteducatif comme facteur de seacutegreacutega-tion ainsi que celui de la liberteacute lais-seacutee aux eacutecoles dans le choix de leur public (plus significatif que celui du laquo libre choix raquo des parents)

Les analyses de reacutegression reacutealiseacutees agrave partir des donneacutees PISA 2006 suggegraverent que les systegravemes plus orienteacutes vers des logiques de marcheacute sco-laire tendant agrave augmenter la seacutegreacutegation scolaire et so-ciale alors que ceux qui sont caracteacuteriseacutes par des logiques de scolariteacute commune (eacutecole laquocomprehensiveraquo) et de reacutegulation publique tendent agrave les reacuteduire Alegre et Ferrer (2010)

Un outil drsquoanalyse national ou reacutegional des systegravemes eacuteducatifs quelques exemples europeacuteens

Il serait trop long de citer ici toutes les eacutetudes allemandes qui se sont empareacutees de lrsquoenquecircte de lrsquoOCDE agrave la suite du choc causeacute par les premiers reacutesultats PISA sur lequel nous revenons plus loin No-tons juste que au delagrave des descriptions officielles PISA a permis de souligner les eacutecarts reacuteels dans les politiques eacuteducatives des Laumlnder et leurs reacutesultats diffeacuterencieacutes (Prenzel amp Zimmer 2006)

Au Royaume-Uni des travaux ont mis agrave jour les importantes dispariteacutes sociales dans lrsquoenseignement anglais reacuteveacuteleacutees par PISA au-delagrave des bons reacutesultats globaux (Doyle 2008)

Une eacutequipe de chercheurs hollandais ana-lysant la baisse des reacutesultats des eacutelegraveves des Pays-Bas depuis 2003 a constateacute un deacutecalage entre les compeacutetences eacutevalueacutees par PISA et les objectifs curriculaires qui dans ce pays sont de fait fixeacutes par les contenus des manuels scolaires (Kuiper amp van den Akker 2011)

Dans les pays scandinaves plusieurs recherches ont utiliseacute les donneacutees PISA pour approfondir telle ou telle partie de lrsquoanalyse du fonctionnement eacuteducatif dans une optique comparative au niveau reacutegio-nal

Ainsi comme le relegravevent Crahay et Monseur (2008) plus un pays recourt au regroupement homo-gegravene des eacutelegraveves selon des critegraveres sociaux etou acadeacutemiques minus plus le beacuteneacutefice qursquoaura un eacutelegraveve deacutefa-voriseacute de freacutequenter une eacutecole favoriseacutee sera important minus plus le deacuteficit qursquoaura un eacutelegraveve deacutefavoriseacute de freacutequenter une eacutecole deacutefavoriseacutee sera im-portant minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves faibles et les eacutelegraveves forts sera eacuteleveacute minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves deacutefavoriseacutes et les eacutelegraveves favoriseacutes sera eacuteleveacute minus plus la correacutelation entre origine sociale et performance sera eacuteleveacutee minus plus la performance moyenne en lecture sera faible

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

818

Des chercheurs (Linnakylmauml et al 2004) ont compareacute la part minoritaire des eacutelegraveves finlandais et sueacutedois situeacutes agrave des niveaux de performance en lec-ture insuffisants dans PISA afin de deacutegager les facteurs de cette moindre reacuteussite Ils ont ainsi identifieacute les fac-teurs drsquoordre socioculturels sur les-quels il est difficile drsquoagir dans lrsquoeacutecole (origine sociale immigration reacutecente) et ceux sur lesquels une action eacutedu-cative est possible par exemple pour renforcer lrsquoestime de soi des eacutelegraveves en eacutechec Une autre eacutequipe (Leino et al 2004) a utiliseacute les options finlandaises de lrsquoenquecircte PISA 2000 (chaque pays avait le droit de rajouter des questions optionnelles pour laquo son raquo eacutechantillon) afin de proceacuteder agrave une analyse secon-daire des donneacutees sur la litteacuteratie Avec ces donneacutees suppleacutementaires il a eacuteteacute possible de mieux cerner les pratiques de lecture drsquoimprimeacutes non scolaires et les activiteacutes Internet Kjaeligrnsli et Lie (2004) ont mis en lumiegravere les simila-riteacutes et les diffeacuterences entre les pays nordiques concernant les questions de compeacutetence lieacutees agrave la litteacuteratie scienti-fique dans PISAl Hvistendahl et Roe (2004) ont confronteacute la reacuteussite sco-laire en litteacuteratie des eacutelegraveves de minori-teacutes norveacutegiennes agrave partir des reacutesultats de PISA 2000 avec celle des minoriteacutes du Danemark de la Suegravede et de lrsquoAlle-magne

Pour Turmo (2004) qui a proceacutedeacute agrave une analyse des donneacutees PISA 2000 sur les pays nordiques la relation est forte avec le capital culturel des pa-rents dans plusieurs de ces pays ce qui plaide pour un renforcement de lrsquoenseignement des sciences vers les eacutelegraveves drsquoorigine culturelle moins eacuteleveacutee et pour la pertinence drsquoune approche laquo culturelle raquo de lrsquoenseignement des sciences visant agrave identifier et agrave reacuteduire les obstacles agrave la culture scientifique

Si la performance cognitive des eacutelegraveves finlandais srsquoest aveacutereacutee excellente au travers des reacutesultats de PISA 2003 leur engagement dans la scolariteacute nrsquoest pas si flatteur Pour mieux comprendre ce reacutesultat moyen constateacute dans les

reacuteponses PISA une eacutetude finlandaise (Linnakyla amp Malin 2008) a regroupeacute les eacutelegraveves en six laquo clusters raquo selon les variables drsquoacceptation par les pairs de relations entre eacutelegraveves et ensei-gnants de perceptions des valeurs de lrsquoeacutecole et de perceptions sur lrsquoimpor-tance de lrsquoeacuteducation et de lrsquoeacutecole pour leur avenir

dANS QUELLE mESUrE PEUT-oN se fier agrave PisA

On srsquoaccorde au sein mecircme de la com-munauteacute des chercheurs en eacuteducation sur le fait que le programme de lrsquoOCDE a beacuteneacuteficieacute drsquoune expertise et drsquoune attention meacutethodologique qui obligent agrave deacuteplacer la critique sur un autre ter-rain que la discussion sur le caractegravere plus ou moins rigoureux de lrsquoenquecircte elle-mecircme Cela ne preacutejuge pas en revanche drsquoautres deacutebats et interpella-tions qui peuvent conduire agrave souligner les limites de ce type drsquoenquecirctes agrave qui ont veut parfois faire dire plus qursquoelles ne peuvent signifier

Lrsquoeffet du choix des laquo 15 ans raquo

On sait que dans lrsquoeacutechantillon des eacutelegraveves franccedilais de PISA ceux qui sont colleacutegiens ont pour caracteacuteristique drsquoavoir redoubleacute alors que tous les lyceacuteens sont laquo agrave lrsquoheure raquo Si le palier drsquoorientation intervenait en France avant ou apregraves cet acircge le problegraveme ne se poserait pas en ces termes La question agrave laquelle permet de reacutepondre lrsquoenquecircte PISA est donc celle du mode de scolarisation des eacutelegraveves agrave 15 ans dans chaque pays et drsquoen infeacuterer les conseacutequences sur les compeacutetences acquises tout au long de la scolariteacute Elle ne permet pas en revanche de me-surer le poids des effets de composi-tion des eacutetablissements ou des classes sur les compeacutetences (Felouzis 2009) Lrsquoeacutechantillon des eacutelegraveves Franccedilais de lrsquoenquecircte PISA nrsquoest pas repreacutesentatif drsquoun niveau scolaire particulier agrave la dif-feacuterence drsquoautre pays qui pratiquent le passage automatique comme la Fin-lande le Royaume-Uni ou la Suegravede (Grenet 2008)

Lrsquoanalyse des regrou-pements effectueacutes a permis ensuite drsquoiden-tifier des groupes significatifs par pays ou selon le contexte geacuteographique culturel ou politique

l

918 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Certains chercheurs ont aussi fait remar-quer qursquoune telle approche eacutetait suscep-tible de peacutenaliser meacutecaniquement les approches peacutedagogiques fondeacutees sur la construction par laquo briques raquo drsquoun savoir dont le terme est fixeacute agrave la fin de lrsquoensei-gnement secondaire (lorsque les eacutelegraveves atteignent lrsquoacircge de 17 ou 18 ans) plutocirct que la constitution drsquoun laquo socle commun de connaissances raquo supposeacute atteint agrave la fin de la scolariteacute obligatoire (Prais 2003)

Drsquoautres regrettent que les eacutevaluations in-ternationales se concentrent sur les reacutesul-tats des eacutelegraveves durant ou agrave la fin de leur scolariteacute sans connaicirctre les progregraves que ces eacutelegraveves ont accomplis depuis qursquoils ont commenceacute leur scolariteacute (Tymms 2004) Ils plaident par conseacutequent pour des eacutetudes longitudinales qui prennent en compte les acquis des enfants agrave lrsquoentame de leur scolariteacute

Des questions meacutethodologiques reacutecurrentes pour ce type drsquoeacutevaluations

Alors que les comparaisons interna-tionales peuvent ecirctre pertinentes pour construire un jugement global sur la per-formance des systegravemes eacuteducatifs il faut se meacutefier de jugements plus deacutetailleacutes es-time William (2008) En particulier on ne peut tirer de conclusions trop fines sur la qualiteacute de lrsquoenseignement deacutelivreacute En effet les eacutevaluations comme PISA sont tregraves peu sensibles aux effets drsquoun enseignement de haut niveau pour trois raisons

minus compareacute au taux de reacuteussite agrave lrsquointeacute-rieur drsquoune classe drsquoacircge le taux de progression des individus reste tou-jours tregraves modeste

minus les meacutethodes standardiseacutees des tests tendent agrave supprimer les items qui montrent une grande sensibiliteacute aux variations drsquoenseignement

minus lrsquoutilisation dans PISA drsquoitems de dif-feacuterenciation (qui fonctionnent pour identifier et exclure les items non com-parables agrave travers les diffeacuterentes lan-gues) reacuteduisent la reacuteactiviteacute des eacuteva-luations agrave lrsquoenseignement

Les eacutevaluations externes internationales butent par ailleurs toujours sur la diffi-culteacute drsquoutiliser des concepts et des mots qui gardent une mecircme signification agrave tra-vers plusieurs langages mecircme si une traduction est techniquement correcte la connotation et lrsquoutilisation des mots iden-tiques peuvent varier drsquoun pays agrave lrsquoautre Il ne faut pas sous-estimer les biais issus des traductions ou des sens diffeacuterents des consignes selon les langages et les aires culturelles l

Vrignaud (2006) se demande plus fonda-mentalement si dans PISA le souci et lrsquoexigence psychomeacutetrique l nrsquoont pas pris le dessus sur lrsquoexigence drsquoeacutelabora-tion theacuteorique de ce qursquoest la litteacuteratie Il pointe notamment le risque de consideacute-rer les compeacutetences mesureacutees par PISA comme doteacutees drsquoune reacutealiteacute autonome et objective indeacutependante des contextes culturels et sociaux alors que ces com-peacutetences sont eacutetroitement deacutependantes drsquoun modegravele de mesure qui peut ecirctre lieacute agrave des types drsquoapprentissages scolaires et de milieux culturels preacuteciseacutement contex-tualiseacutes Il plaide par conseacutequent pour une meilleure prise en compte dans PISA de la deacutefinition theacuteorique (et non unique-ment psychomeacutetrique) des compeacutetences par domaines comme cela eacuteteacute fait dans le projet DESECO de lrsquoOCDE

pisa et le pilotage des systegravemes eacutedUCatifsLe laquo choc PisA raquo en ALLemAgne

Lrsquoexemple le plus connu de vaste mouve-ment de reacuteforme provoqueacute par PISA est celui de lrsquoAllemagne ougrave la preacutesentation des reacutesultats de lrsquoenquecircte internationale a provoqueacute une remise en cause de la per-ception qursquoavaient les allemands de leur systegraveme eacuteducatif voire mecircme de leurs valeurs sociales et culturelles Drsquoautres enquecirctes internationales comparatives avaient deacutejagrave souligneacute les faibles per-formances allemandes notamment en matheacutematiques mais nrsquoeacutetaient connues

Le mot laquostyleraquo a par exemple pour des franccedilais un sens tregraves litteacuteraire (le style drsquoun eacutecrivain) alors qursquoil englobe pour des anglophones des questions drsquoillustration ou de typographie

laquo La psychomeacutetrie est la science eacutetu-diant lrsquoensemble des techniques de mesures pratiqueacutees en psychologie ainsi que les techniques de validation de ces mesures Ces tech-niques concernent tous les champs de la psychologie ainsi que drsquoautres domaines de sciences connexes (comme la recherche en comportement du consommateur par exemple) mais elles ont eacuteteacute surtout deacuteve-loppeacutees agrave lrsquoorigine pour la mesure des performances intellec-tuelles raquo (Wikipedia)

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

618

Un certain nombre drsquoitems vise agrave eacuteva-luer les compeacutetences des eacutelegraveves agrave uti-liser des chiffres dans la vie reacuteelle plus qursquoagrave maitriser des savoirs matheacutema-tiques formels ce qui explique une par-tie des moins bons reacutesultats de lrsquoeacutechan-tillon franccedilais ces eacutelegraveves eacutetant plus habitueacutes agrave lrsquoacquisition de concepts matheacutematiques qursquoau deacutetour par le lan-gage laquode la vie reacuteelleraquo Dans certains cas la compreacutehension des textes qui ne sont pas purement matheacutematiques devient la principale difficulteacute que les eacutelegraveves ont agrave affronter plus que le pro-blegraveme laquo matheacutematique raquo stricto sensu (Bodin 2006)

Les eacutelegraveves franccedilais reacuteussissent ain-si beaucoup mieux les items corres-pondant agrave une formulation proche du contexte scolaire ou dont les contenus se rapprochent de lrsquoenseignement dis-penseacute en France exercices sur des supports geacuteomeacutetriques lecture de gra-phiques application et eacutetablissement de formules Ils eacuteprouvent en revanche des difficulteacutes agrave construire une relation entre des variables et obtiennent des reacute-sultats deacutecevants lorsqursquoil srsquoagit de tra-vailler sur des nombres entiers et deacuteci-maux On retrouve les mecircmes constats en comparant les pratiques des ensei-gnements britanniques et franccedilais en la matiegravere (Doyle 2008)

UNE VISIoN rENoUVELeacuteE dES SYSTegravemES eacutedUCATIfS SoUS LrsquoeacuteCLAIrAgE dES reacuteSULTATS PISA

Depuis le deacutebut des anneacutees 2000 on constate au niveau international un renouveau des eacutetudes qui prennent en compte les reacutesultats des eacutevaluations externes agrave des fins de comparaison des performances de chaque systegraveme eacutedu-catif et pour en tirer des eacuteleacutements drsquoana-lyse des pratiques eacuteducatives Lrsquoim-mense et ineacutedite base de donneacutees que constitue PISA nrsquoest bien eacutevidemment pas eacutetrangegravere agrave cette floraison drsquoeacutetudes Les chercheurs utilisent parfois directe-ment les donneacutees de PISA ou les re-traitent et les complegravetent (y compris en utilisant des donneacutees contextuelles) au travers drsquoanalyses secondaires Crsquoest

pourquoi plusieurs chercheurs plaident pour le deacuteveloppement de telles ana-lyses dans chaque pays et pour un sou-tien fort des organismes publics dans lrsquoaccegraves aux donneacutees et le financement de telles recherches

Olsen et Svein (2006) passent en revue les diffeacuterents types drsquoanalyses secon-daires en prenant comme exemple la comparaison de lrsquoenseignement des matheacutematiques en France et en Fin-lande Ces travaux ont donneacute lieu agrave une confeacuterence agrave Paris en 2005 ougrave il a no-tamment eacuteteacute constateacute que mecircme si les eacutepreuves de PISA ne couvrent qursquoune petite partie du programme de matheacute-matiques du Brevet en France (15) elles correspondent agrave un eacuteventail plus large drsquoexigences cognitives de haut niveau

La question du tronc commun et de la diffeacuterenciation

Comme le constate Mons (2008) les bases de donneacutees constitueacutees par les grandes eacutevaluations internationales permettent de dessiner des typologies de systegravemes eacuteducatifs en mettant en lumiegravere les variations sur le long terme des reacutesultats des eacutelegraveves selon les effets des politiques publiques En matiegravere drsquoeacutevaluation des politiques eacuteducatives elles permettent des analyses statis-tiques entre drsquoun cocircteacute des indicateurs de performance des systegravemes et de lrsquoautre des scheacutemas institutionnels fruits des choix politiques

Face au problegraveme de lrsquoheacuteteacuterogeacuteneacuteiteacute des publics la France relegraveve plutocirct de la famille de pays qui a adopteacute une solution drsquointeacutegration uniforme Ce modegravele est caracteacuteriseacute par un tronc commun long avec une premiegravere seacutelection officielle agrave lrsquoentreacutee dans le second cycle du secon-daire des taux de redoublement eacuteleveacutes lrsquoapparition de classes de niveau dans certains eacutetablissements degraves le premier cycle du secondaire un enseignement individualiseacute qui prend quasiment exclu-sivement la forme drsquoactions de remeacutedia-tion et un nombre significatif de sorties du systegraveme eacuteducatif sans qualification

718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Le modegravele caracteacuterise principalement la famille latine deacuteveloppeacutee (France Espagne Portugalhellip) dans laquelle le redoublement la classe de niveau et lrsquoeacutechec scolaire se transforment en variables drsquoajustement Ce modegravele srsquoinscrit davantage dans le symbo-lique ndashlrsquoeacutegaliteacute pour tousndash que dans le pragmatique faute drsquoune reacuteflexion pousseacutee sur les moyens neacutecessaires ni drsquoune politique volontariste pour at-teindre les objectifs proclameacutes (Mons 2008)

Diverses analyses secondaires des bases de donneacutees PISA 2000 2003 et 2006 permettent drsquoaboutir agrave des constats similaires susceptibles drsquoin-terpeller les responsables des poli-tiques eacuteducativesl

Les pays qui constituent des uniteacutes geacuteographiques historiques ou cultu-relles tendent agrave preacutesenter des ni-veaux drsquoineacutegaliteacutes scolaires proches remarque eacutegalement Green (2008) agrave partir drsquoune eacutetude des reacutesultats de PISA 2006 Les pays anglophones et lrsquoEurope continentale (Allemagne Belgiquehellip) preacutesentent des ineacutegaliteacutes scolaires eacuteleveacutees tandis que les pays drsquoEurope nordique et latine ainsi que les pays de lrsquoAsie de lrsquoEst sont ca-racteacuteriseacutes par des ineacutegaliteacutes faibles Dans une approche comparative qua-litative qui vise agrave mettre en eacutevidence les caracteacuteristiques qui peuvent expli-quer ces diffeacuterences reacutegionales le chercheur avance que le groupe de pays preacutesentant les plus faibles ineacute-galiteacutes scolaires est caracteacuteriseacute par un systegraveme drsquoeacutecole unique relative-ment uniforme ainsi que par de faibles pratiques de classes de niveau dans le secondaire infeacuterieur

Alegre et Ferrer (2010) ont identi-fieacute des variables fines permettant de constater lrsquoeffet important de lrsquoacircge de la premiegravere seacutelection dans le parcours eacuteducatif comme facteur de seacutegreacutega-tion ainsi que celui de la liberteacute lais-seacutee aux eacutecoles dans le choix de leur public (plus significatif que celui du laquo libre choix raquo des parents)

Les analyses de reacutegression reacutealiseacutees agrave partir des donneacutees PISA 2006 suggegraverent que les systegravemes plus orienteacutes vers des logiques de marcheacute sco-laire tendant agrave augmenter la seacutegreacutegation scolaire et so-ciale alors que ceux qui sont caracteacuteriseacutes par des logiques de scolariteacute commune (eacutecole laquocomprehensiveraquo) et de reacutegulation publique tendent agrave les reacuteduire Alegre et Ferrer (2010)

Un outil drsquoanalyse national ou reacutegional des systegravemes eacuteducatifs quelques exemples europeacuteens

Il serait trop long de citer ici toutes les eacutetudes allemandes qui se sont empareacutees de lrsquoenquecircte de lrsquoOCDE agrave la suite du choc causeacute par les premiers reacutesultats PISA sur lequel nous revenons plus loin No-tons juste que au delagrave des descriptions officielles PISA a permis de souligner les eacutecarts reacuteels dans les politiques eacuteducatives des Laumlnder et leurs reacutesultats diffeacuterencieacutes (Prenzel amp Zimmer 2006)

Au Royaume-Uni des travaux ont mis agrave jour les importantes dispariteacutes sociales dans lrsquoenseignement anglais reacuteveacuteleacutees par PISA au-delagrave des bons reacutesultats globaux (Doyle 2008)

Une eacutequipe de chercheurs hollandais ana-lysant la baisse des reacutesultats des eacutelegraveves des Pays-Bas depuis 2003 a constateacute un deacutecalage entre les compeacutetences eacutevalueacutees par PISA et les objectifs curriculaires qui dans ce pays sont de fait fixeacutes par les contenus des manuels scolaires (Kuiper amp van den Akker 2011)

Dans les pays scandinaves plusieurs recherches ont utiliseacute les donneacutees PISA pour approfondir telle ou telle partie de lrsquoanalyse du fonctionnement eacuteducatif dans une optique comparative au niveau reacutegio-nal

Ainsi comme le relegravevent Crahay et Monseur (2008) plus un pays recourt au regroupement homo-gegravene des eacutelegraveves selon des critegraveres sociaux etou acadeacutemiques minus plus le beacuteneacutefice qursquoaura un eacutelegraveve deacutefa-voriseacute de freacutequenter une eacutecole favoriseacutee sera important minus plus le deacuteficit qursquoaura un eacutelegraveve deacutefavoriseacute de freacutequenter une eacutecole deacutefavoriseacutee sera im-portant minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves faibles et les eacutelegraveves forts sera eacuteleveacute minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves deacutefavoriseacutes et les eacutelegraveves favoriseacutes sera eacuteleveacute minus plus la correacutelation entre origine sociale et performance sera eacuteleveacutee minus plus la performance moyenne en lecture sera faible

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

818

Des chercheurs (Linnakylmauml et al 2004) ont compareacute la part minoritaire des eacutelegraveves finlandais et sueacutedois situeacutes agrave des niveaux de performance en lec-ture insuffisants dans PISA afin de deacutegager les facteurs de cette moindre reacuteussite Ils ont ainsi identifieacute les fac-teurs drsquoordre socioculturels sur les-quels il est difficile drsquoagir dans lrsquoeacutecole (origine sociale immigration reacutecente) et ceux sur lesquels une action eacutedu-cative est possible par exemple pour renforcer lrsquoestime de soi des eacutelegraveves en eacutechec Une autre eacutequipe (Leino et al 2004) a utiliseacute les options finlandaises de lrsquoenquecircte PISA 2000 (chaque pays avait le droit de rajouter des questions optionnelles pour laquo son raquo eacutechantillon) afin de proceacuteder agrave une analyse secon-daire des donneacutees sur la litteacuteratie Avec ces donneacutees suppleacutementaires il a eacuteteacute possible de mieux cerner les pratiques de lecture drsquoimprimeacutes non scolaires et les activiteacutes Internet Kjaeligrnsli et Lie (2004) ont mis en lumiegravere les simila-riteacutes et les diffeacuterences entre les pays nordiques concernant les questions de compeacutetence lieacutees agrave la litteacuteratie scienti-fique dans PISAl Hvistendahl et Roe (2004) ont confronteacute la reacuteussite sco-laire en litteacuteratie des eacutelegraveves de minori-teacutes norveacutegiennes agrave partir des reacutesultats de PISA 2000 avec celle des minoriteacutes du Danemark de la Suegravede et de lrsquoAlle-magne

Pour Turmo (2004) qui a proceacutedeacute agrave une analyse des donneacutees PISA 2000 sur les pays nordiques la relation est forte avec le capital culturel des pa-rents dans plusieurs de ces pays ce qui plaide pour un renforcement de lrsquoenseignement des sciences vers les eacutelegraveves drsquoorigine culturelle moins eacuteleveacutee et pour la pertinence drsquoune approche laquo culturelle raquo de lrsquoenseignement des sciences visant agrave identifier et agrave reacuteduire les obstacles agrave la culture scientifique

Si la performance cognitive des eacutelegraveves finlandais srsquoest aveacutereacutee excellente au travers des reacutesultats de PISA 2003 leur engagement dans la scolariteacute nrsquoest pas si flatteur Pour mieux comprendre ce reacutesultat moyen constateacute dans les

reacuteponses PISA une eacutetude finlandaise (Linnakyla amp Malin 2008) a regroupeacute les eacutelegraveves en six laquo clusters raquo selon les variables drsquoacceptation par les pairs de relations entre eacutelegraveves et ensei-gnants de perceptions des valeurs de lrsquoeacutecole et de perceptions sur lrsquoimpor-tance de lrsquoeacuteducation et de lrsquoeacutecole pour leur avenir

dANS QUELLE mESUrE PEUT-oN se fier agrave PisA

On srsquoaccorde au sein mecircme de la com-munauteacute des chercheurs en eacuteducation sur le fait que le programme de lrsquoOCDE a beacuteneacuteficieacute drsquoune expertise et drsquoune attention meacutethodologique qui obligent agrave deacuteplacer la critique sur un autre ter-rain que la discussion sur le caractegravere plus ou moins rigoureux de lrsquoenquecircte elle-mecircme Cela ne preacutejuge pas en revanche drsquoautres deacutebats et interpella-tions qui peuvent conduire agrave souligner les limites de ce type drsquoenquecirctes agrave qui ont veut parfois faire dire plus qursquoelles ne peuvent signifier

Lrsquoeffet du choix des laquo 15 ans raquo

On sait que dans lrsquoeacutechantillon des eacutelegraveves franccedilais de PISA ceux qui sont colleacutegiens ont pour caracteacuteristique drsquoavoir redoubleacute alors que tous les lyceacuteens sont laquo agrave lrsquoheure raquo Si le palier drsquoorientation intervenait en France avant ou apregraves cet acircge le problegraveme ne se poserait pas en ces termes La question agrave laquelle permet de reacutepondre lrsquoenquecircte PISA est donc celle du mode de scolarisation des eacutelegraveves agrave 15 ans dans chaque pays et drsquoen infeacuterer les conseacutequences sur les compeacutetences acquises tout au long de la scolariteacute Elle ne permet pas en revanche de me-surer le poids des effets de composi-tion des eacutetablissements ou des classes sur les compeacutetences (Felouzis 2009) Lrsquoeacutechantillon des eacutelegraveves Franccedilais de lrsquoenquecircte PISA nrsquoest pas repreacutesentatif drsquoun niveau scolaire particulier agrave la dif-feacuterence drsquoautre pays qui pratiquent le passage automatique comme la Fin-lande le Royaume-Uni ou la Suegravede (Grenet 2008)

Lrsquoanalyse des regrou-pements effectueacutes a permis ensuite drsquoiden-tifier des groupes significatifs par pays ou selon le contexte geacuteographique culturel ou politique

l

918 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Certains chercheurs ont aussi fait remar-quer qursquoune telle approche eacutetait suscep-tible de peacutenaliser meacutecaniquement les approches peacutedagogiques fondeacutees sur la construction par laquo briques raquo drsquoun savoir dont le terme est fixeacute agrave la fin de lrsquoensei-gnement secondaire (lorsque les eacutelegraveves atteignent lrsquoacircge de 17 ou 18 ans) plutocirct que la constitution drsquoun laquo socle commun de connaissances raquo supposeacute atteint agrave la fin de la scolariteacute obligatoire (Prais 2003)

Drsquoautres regrettent que les eacutevaluations in-ternationales se concentrent sur les reacutesul-tats des eacutelegraveves durant ou agrave la fin de leur scolariteacute sans connaicirctre les progregraves que ces eacutelegraveves ont accomplis depuis qursquoils ont commenceacute leur scolariteacute (Tymms 2004) Ils plaident par conseacutequent pour des eacutetudes longitudinales qui prennent en compte les acquis des enfants agrave lrsquoentame de leur scolariteacute

Des questions meacutethodologiques reacutecurrentes pour ce type drsquoeacutevaluations

Alors que les comparaisons interna-tionales peuvent ecirctre pertinentes pour construire un jugement global sur la per-formance des systegravemes eacuteducatifs il faut se meacutefier de jugements plus deacutetailleacutes es-time William (2008) En particulier on ne peut tirer de conclusions trop fines sur la qualiteacute de lrsquoenseignement deacutelivreacute En effet les eacutevaluations comme PISA sont tregraves peu sensibles aux effets drsquoun enseignement de haut niveau pour trois raisons

minus compareacute au taux de reacuteussite agrave lrsquointeacute-rieur drsquoune classe drsquoacircge le taux de progression des individus reste tou-jours tregraves modeste

minus les meacutethodes standardiseacutees des tests tendent agrave supprimer les items qui montrent une grande sensibiliteacute aux variations drsquoenseignement

minus lrsquoutilisation dans PISA drsquoitems de dif-feacuterenciation (qui fonctionnent pour identifier et exclure les items non com-parables agrave travers les diffeacuterentes lan-gues) reacuteduisent la reacuteactiviteacute des eacuteva-luations agrave lrsquoenseignement

Les eacutevaluations externes internationales butent par ailleurs toujours sur la diffi-culteacute drsquoutiliser des concepts et des mots qui gardent une mecircme signification agrave tra-vers plusieurs langages mecircme si une traduction est techniquement correcte la connotation et lrsquoutilisation des mots iden-tiques peuvent varier drsquoun pays agrave lrsquoautre Il ne faut pas sous-estimer les biais issus des traductions ou des sens diffeacuterents des consignes selon les langages et les aires culturelles l

Vrignaud (2006) se demande plus fonda-mentalement si dans PISA le souci et lrsquoexigence psychomeacutetrique l nrsquoont pas pris le dessus sur lrsquoexigence drsquoeacutelabora-tion theacuteorique de ce qursquoest la litteacuteratie Il pointe notamment le risque de consideacute-rer les compeacutetences mesureacutees par PISA comme doteacutees drsquoune reacutealiteacute autonome et objective indeacutependante des contextes culturels et sociaux alors que ces com-peacutetences sont eacutetroitement deacutependantes drsquoun modegravele de mesure qui peut ecirctre lieacute agrave des types drsquoapprentissages scolaires et de milieux culturels preacuteciseacutement contex-tualiseacutes Il plaide par conseacutequent pour une meilleure prise en compte dans PISA de la deacutefinition theacuteorique (et non unique-ment psychomeacutetrique) des compeacutetences par domaines comme cela eacuteteacute fait dans le projet DESECO de lrsquoOCDE

pisa et le pilotage des systegravemes eacutedUCatifsLe laquo choc PisA raquo en ALLemAgne

Lrsquoexemple le plus connu de vaste mouve-ment de reacuteforme provoqueacute par PISA est celui de lrsquoAllemagne ougrave la preacutesentation des reacutesultats de lrsquoenquecircte internationale a provoqueacute une remise en cause de la per-ception qursquoavaient les allemands de leur systegraveme eacuteducatif voire mecircme de leurs valeurs sociales et culturelles Drsquoautres enquecirctes internationales comparatives avaient deacutejagrave souligneacute les faibles per-formances allemandes notamment en matheacutematiques mais nrsquoeacutetaient connues

Le mot laquostyleraquo a par exemple pour des franccedilais un sens tregraves litteacuteraire (le style drsquoun eacutecrivain) alors qursquoil englobe pour des anglophones des questions drsquoillustration ou de typographie

laquo La psychomeacutetrie est la science eacutetu-diant lrsquoensemble des techniques de mesures pratiqueacutees en psychologie ainsi que les techniques de validation de ces mesures Ces tech-niques concernent tous les champs de la psychologie ainsi que drsquoautres domaines de sciences connexes (comme la recherche en comportement du consommateur par exemple) mais elles ont eacuteteacute surtout deacuteve-loppeacutees agrave lrsquoorigine pour la mesure des performances intellec-tuelles raquo (Wikipedia)

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Le modegravele caracteacuterise principalement la famille latine deacuteveloppeacutee (France Espagne Portugalhellip) dans laquelle le redoublement la classe de niveau et lrsquoeacutechec scolaire se transforment en variables drsquoajustement Ce modegravele srsquoinscrit davantage dans le symbo-lique ndashlrsquoeacutegaliteacute pour tousndash que dans le pragmatique faute drsquoune reacuteflexion pousseacutee sur les moyens neacutecessaires ni drsquoune politique volontariste pour at-teindre les objectifs proclameacutes (Mons 2008)

Diverses analyses secondaires des bases de donneacutees PISA 2000 2003 et 2006 permettent drsquoaboutir agrave des constats similaires susceptibles drsquoin-terpeller les responsables des poli-tiques eacuteducativesl

Les pays qui constituent des uniteacutes geacuteographiques historiques ou cultu-relles tendent agrave preacutesenter des ni-veaux drsquoineacutegaliteacutes scolaires proches remarque eacutegalement Green (2008) agrave partir drsquoune eacutetude des reacutesultats de PISA 2006 Les pays anglophones et lrsquoEurope continentale (Allemagne Belgiquehellip) preacutesentent des ineacutegaliteacutes scolaires eacuteleveacutees tandis que les pays drsquoEurope nordique et latine ainsi que les pays de lrsquoAsie de lrsquoEst sont ca-racteacuteriseacutes par des ineacutegaliteacutes faibles Dans une approche comparative qua-litative qui vise agrave mettre en eacutevidence les caracteacuteristiques qui peuvent expli-quer ces diffeacuterences reacutegionales le chercheur avance que le groupe de pays preacutesentant les plus faibles ineacute-galiteacutes scolaires est caracteacuteriseacute par un systegraveme drsquoeacutecole unique relative-ment uniforme ainsi que par de faibles pratiques de classes de niveau dans le secondaire infeacuterieur

Alegre et Ferrer (2010) ont identi-fieacute des variables fines permettant de constater lrsquoeffet important de lrsquoacircge de la premiegravere seacutelection dans le parcours eacuteducatif comme facteur de seacutegreacutega-tion ainsi que celui de la liberteacute lais-seacutee aux eacutecoles dans le choix de leur public (plus significatif que celui du laquo libre choix raquo des parents)

Les analyses de reacutegression reacutealiseacutees agrave partir des donneacutees PISA 2006 suggegraverent que les systegravemes plus orienteacutes vers des logiques de marcheacute sco-laire tendant agrave augmenter la seacutegreacutegation scolaire et so-ciale alors que ceux qui sont caracteacuteriseacutes par des logiques de scolariteacute commune (eacutecole laquocomprehensiveraquo) et de reacutegulation publique tendent agrave les reacuteduire Alegre et Ferrer (2010)

Un outil drsquoanalyse national ou reacutegional des systegravemes eacuteducatifs quelques exemples europeacuteens

Il serait trop long de citer ici toutes les eacutetudes allemandes qui se sont empareacutees de lrsquoenquecircte de lrsquoOCDE agrave la suite du choc causeacute par les premiers reacutesultats PISA sur lequel nous revenons plus loin No-tons juste que au delagrave des descriptions officielles PISA a permis de souligner les eacutecarts reacuteels dans les politiques eacuteducatives des Laumlnder et leurs reacutesultats diffeacuterencieacutes (Prenzel amp Zimmer 2006)

Au Royaume-Uni des travaux ont mis agrave jour les importantes dispariteacutes sociales dans lrsquoenseignement anglais reacuteveacuteleacutees par PISA au-delagrave des bons reacutesultats globaux (Doyle 2008)

Une eacutequipe de chercheurs hollandais ana-lysant la baisse des reacutesultats des eacutelegraveves des Pays-Bas depuis 2003 a constateacute un deacutecalage entre les compeacutetences eacutevalueacutees par PISA et les objectifs curriculaires qui dans ce pays sont de fait fixeacutes par les contenus des manuels scolaires (Kuiper amp van den Akker 2011)

Dans les pays scandinaves plusieurs recherches ont utiliseacute les donneacutees PISA pour approfondir telle ou telle partie de lrsquoanalyse du fonctionnement eacuteducatif dans une optique comparative au niveau reacutegio-nal

Ainsi comme le relegravevent Crahay et Monseur (2008) plus un pays recourt au regroupement homo-gegravene des eacutelegraveves selon des critegraveres sociaux etou acadeacutemiques minus plus le beacuteneacutefice qursquoaura un eacutelegraveve deacutefa-voriseacute de freacutequenter une eacutecole favoriseacutee sera important minus plus le deacuteficit qursquoaura un eacutelegraveve deacutefavoriseacute de freacutequenter une eacutecole deacutefavoriseacutee sera im-portant minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves faibles et les eacutelegraveves forts sera eacuteleveacute minus plus lrsquoeacutecart de per-formance qui seacutepare les eacutelegraveves deacutefavoriseacutes et les eacutelegraveves favoriseacutes sera eacuteleveacute minus plus la correacutelation entre origine sociale et performance sera eacuteleveacutee minus plus la performance moyenne en lecture sera faible

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

818

Des chercheurs (Linnakylmauml et al 2004) ont compareacute la part minoritaire des eacutelegraveves finlandais et sueacutedois situeacutes agrave des niveaux de performance en lec-ture insuffisants dans PISA afin de deacutegager les facteurs de cette moindre reacuteussite Ils ont ainsi identifieacute les fac-teurs drsquoordre socioculturels sur les-quels il est difficile drsquoagir dans lrsquoeacutecole (origine sociale immigration reacutecente) et ceux sur lesquels une action eacutedu-cative est possible par exemple pour renforcer lrsquoestime de soi des eacutelegraveves en eacutechec Une autre eacutequipe (Leino et al 2004) a utiliseacute les options finlandaises de lrsquoenquecircte PISA 2000 (chaque pays avait le droit de rajouter des questions optionnelles pour laquo son raquo eacutechantillon) afin de proceacuteder agrave une analyse secon-daire des donneacutees sur la litteacuteratie Avec ces donneacutees suppleacutementaires il a eacuteteacute possible de mieux cerner les pratiques de lecture drsquoimprimeacutes non scolaires et les activiteacutes Internet Kjaeligrnsli et Lie (2004) ont mis en lumiegravere les simila-riteacutes et les diffeacuterences entre les pays nordiques concernant les questions de compeacutetence lieacutees agrave la litteacuteratie scienti-fique dans PISAl Hvistendahl et Roe (2004) ont confronteacute la reacuteussite sco-laire en litteacuteratie des eacutelegraveves de minori-teacutes norveacutegiennes agrave partir des reacutesultats de PISA 2000 avec celle des minoriteacutes du Danemark de la Suegravede et de lrsquoAlle-magne

Pour Turmo (2004) qui a proceacutedeacute agrave une analyse des donneacutees PISA 2000 sur les pays nordiques la relation est forte avec le capital culturel des pa-rents dans plusieurs de ces pays ce qui plaide pour un renforcement de lrsquoenseignement des sciences vers les eacutelegraveves drsquoorigine culturelle moins eacuteleveacutee et pour la pertinence drsquoune approche laquo culturelle raquo de lrsquoenseignement des sciences visant agrave identifier et agrave reacuteduire les obstacles agrave la culture scientifique

Si la performance cognitive des eacutelegraveves finlandais srsquoest aveacutereacutee excellente au travers des reacutesultats de PISA 2003 leur engagement dans la scolariteacute nrsquoest pas si flatteur Pour mieux comprendre ce reacutesultat moyen constateacute dans les

reacuteponses PISA une eacutetude finlandaise (Linnakyla amp Malin 2008) a regroupeacute les eacutelegraveves en six laquo clusters raquo selon les variables drsquoacceptation par les pairs de relations entre eacutelegraveves et ensei-gnants de perceptions des valeurs de lrsquoeacutecole et de perceptions sur lrsquoimpor-tance de lrsquoeacuteducation et de lrsquoeacutecole pour leur avenir

dANS QUELLE mESUrE PEUT-oN se fier agrave PisA

On srsquoaccorde au sein mecircme de la com-munauteacute des chercheurs en eacuteducation sur le fait que le programme de lrsquoOCDE a beacuteneacuteficieacute drsquoune expertise et drsquoune attention meacutethodologique qui obligent agrave deacuteplacer la critique sur un autre ter-rain que la discussion sur le caractegravere plus ou moins rigoureux de lrsquoenquecircte elle-mecircme Cela ne preacutejuge pas en revanche drsquoautres deacutebats et interpella-tions qui peuvent conduire agrave souligner les limites de ce type drsquoenquecirctes agrave qui ont veut parfois faire dire plus qursquoelles ne peuvent signifier

Lrsquoeffet du choix des laquo 15 ans raquo

On sait que dans lrsquoeacutechantillon des eacutelegraveves franccedilais de PISA ceux qui sont colleacutegiens ont pour caracteacuteristique drsquoavoir redoubleacute alors que tous les lyceacuteens sont laquo agrave lrsquoheure raquo Si le palier drsquoorientation intervenait en France avant ou apregraves cet acircge le problegraveme ne se poserait pas en ces termes La question agrave laquelle permet de reacutepondre lrsquoenquecircte PISA est donc celle du mode de scolarisation des eacutelegraveves agrave 15 ans dans chaque pays et drsquoen infeacuterer les conseacutequences sur les compeacutetences acquises tout au long de la scolariteacute Elle ne permet pas en revanche de me-surer le poids des effets de composi-tion des eacutetablissements ou des classes sur les compeacutetences (Felouzis 2009) Lrsquoeacutechantillon des eacutelegraveves Franccedilais de lrsquoenquecircte PISA nrsquoest pas repreacutesentatif drsquoun niveau scolaire particulier agrave la dif-feacuterence drsquoautre pays qui pratiquent le passage automatique comme la Fin-lande le Royaume-Uni ou la Suegravede (Grenet 2008)

Lrsquoanalyse des regrou-pements effectueacutes a permis ensuite drsquoiden-tifier des groupes significatifs par pays ou selon le contexte geacuteographique culturel ou politique

l

918 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Certains chercheurs ont aussi fait remar-quer qursquoune telle approche eacutetait suscep-tible de peacutenaliser meacutecaniquement les approches peacutedagogiques fondeacutees sur la construction par laquo briques raquo drsquoun savoir dont le terme est fixeacute agrave la fin de lrsquoensei-gnement secondaire (lorsque les eacutelegraveves atteignent lrsquoacircge de 17 ou 18 ans) plutocirct que la constitution drsquoun laquo socle commun de connaissances raquo supposeacute atteint agrave la fin de la scolariteacute obligatoire (Prais 2003)

Drsquoautres regrettent que les eacutevaluations in-ternationales se concentrent sur les reacutesul-tats des eacutelegraveves durant ou agrave la fin de leur scolariteacute sans connaicirctre les progregraves que ces eacutelegraveves ont accomplis depuis qursquoils ont commenceacute leur scolariteacute (Tymms 2004) Ils plaident par conseacutequent pour des eacutetudes longitudinales qui prennent en compte les acquis des enfants agrave lrsquoentame de leur scolariteacute

Des questions meacutethodologiques reacutecurrentes pour ce type drsquoeacutevaluations

Alors que les comparaisons interna-tionales peuvent ecirctre pertinentes pour construire un jugement global sur la per-formance des systegravemes eacuteducatifs il faut se meacutefier de jugements plus deacutetailleacutes es-time William (2008) En particulier on ne peut tirer de conclusions trop fines sur la qualiteacute de lrsquoenseignement deacutelivreacute En effet les eacutevaluations comme PISA sont tregraves peu sensibles aux effets drsquoun enseignement de haut niveau pour trois raisons

minus compareacute au taux de reacuteussite agrave lrsquointeacute-rieur drsquoune classe drsquoacircge le taux de progression des individus reste tou-jours tregraves modeste

minus les meacutethodes standardiseacutees des tests tendent agrave supprimer les items qui montrent une grande sensibiliteacute aux variations drsquoenseignement

minus lrsquoutilisation dans PISA drsquoitems de dif-feacuterenciation (qui fonctionnent pour identifier et exclure les items non com-parables agrave travers les diffeacuterentes lan-gues) reacuteduisent la reacuteactiviteacute des eacuteva-luations agrave lrsquoenseignement

Les eacutevaluations externes internationales butent par ailleurs toujours sur la diffi-culteacute drsquoutiliser des concepts et des mots qui gardent une mecircme signification agrave tra-vers plusieurs langages mecircme si une traduction est techniquement correcte la connotation et lrsquoutilisation des mots iden-tiques peuvent varier drsquoun pays agrave lrsquoautre Il ne faut pas sous-estimer les biais issus des traductions ou des sens diffeacuterents des consignes selon les langages et les aires culturelles l

Vrignaud (2006) se demande plus fonda-mentalement si dans PISA le souci et lrsquoexigence psychomeacutetrique l nrsquoont pas pris le dessus sur lrsquoexigence drsquoeacutelabora-tion theacuteorique de ce qursquoest la litteacuteratie Il pointe notamment le risque de consideacute-rer les compeacutetences mesureacutees par PISA comme doteacutees drsquoune reacutealiteacute autonome et objective indeacutependante des contextes culturels et sociaux alors que ces com-peacutetences sont eacutetroitement deacutependantes drsquoun modegravele de mesure qui peut ecirctre lieacute agrave des types drsquoapprentissages scolaires et de milieux culturels preacuteciseacutement contex-tualiseacutes Il plaide par conseacutequent pour une meilleure prise en compte dans PISA de la deacutefinition theacuteorique (et non unique-ment psychomeacutetrique) des compeacutetences par domaines comme cela eacuteteacute fait dans le projet DESECO de lrsquoOCDE

pisa et le pilotage des systegravemes eacutedUCatifsLe laquo choc PisA raquo en ALLemAgne

Lrsquoexemple le plus connu de vaste mouve-ment de reacuteforme provoqueacute par PISA est celui de lrsquoAllemagne ougrave la preacutesentation des reacutesultats de lrsquoenquecircte internationale a provoqueacute une remise en cause de la per-ception qursquoavaient les allemands de leur systegraveme eacuteducatif voire mecircme de leurs valeurs sociales et culturelles Drsquoautres enquecirctes internationales comparatives avaient deacutejagrave souligneacute les faibles per-formances allemandes notamment en matheacutematiques mais nrsquoeacutetaient connues

Le mot laquostyleraquo a par exemple pour des franccedilais un sens tregraves litteacuteraire (le style drsquoun eacutecrivain) alors qursquoil englobe pour des anglophones des questions drsquoillustration ou de typographie

laquo La psychomeacutetrie est la science eacutetu-diant lrsquoensemble des techniques de mesures pratiqueacutees en psychologie ainsi que les techniques de validation de ces mesures Ces tech-niques concernent tous les champs de la psychologie ainsi que drsquoautres domaines de sciences connexes (comme la recherche en comportement du consommateur par exemple) mais elles ont eacuteteacute surtout deacuteve-loppeacutees agrave lrsquoorigine pour la mesure des performances intellec-tuelles raquo (Wikipedia)

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

818

Des chercheurs (Linnakylmauml et al 2004) ont compareacute la part minoritaire des eacutelegraveves finlandais et sueacutedois situeacutes agrave des niveaux de performance en lec-ture insuffisants dans PISA afin de deacutegager les facteurs de cette moindre reacuteussite Ils ont ainsi identifieacute les fac-teurs drsquoordre socioculturels sur les-quels il est difficile drsquoagir dans lrsquoeacutecole (origine sociale immigration reacutecente) et ceux sur lesquels une action eacutedu-cative est possible par exemple pour renforcer lrsquoestime de soi des eacutelegraveves en eacutechec Une autre eacutequipe (Leino et al 2004) a utiliseacute les options finlandaises de lrsquoenquecircte PISA 2000 (chaque pays avait le droit de rajouter des questions optionnelles pour laquo son raquo eacutechantillon) afin de proceacuteder agrave une analyse secon-daire des donneacutees sur la litteacuteratie Avec ces donneacutees suppleacutementaires il a eacuteteacute possible de mieux cerner les pratiques de lecture drsquoimprimeacutes non scolaires et les activiteacutes Internet Kjaeligrnsli et Lie (2004) ont mis en lumiegravere les simila-riteacutes et les diffeacuterences entre les pays nordiques concernant les questions de compeacutetence lieacutees agrave la litteacuteratie scienti-fique dans PISAl Hvistendahl et Roe (2004) ont confronteacute la reacuteussite sco-laire en litteacuteratie des eacutelegraveves de minori-teacutes norveacutegiennes agrave partir des reacutesultats de PISA 2000 avec celle des minoriteacutes du Danemark de la Suegravede et de lrsquoAlle-magne

Pour Turmo (2004) qui a proceacutedeacute agrave une analyse des donneacutees PISA 2000 sur les pays nordiques la relation est forte avec le capital culturel des pa-rents dans plusieurs de ces pays ce qui plaide pour un renforcement de lrsquoenseignement des sciences vers les eacutelegraveves drsquoorigine culturelle moins eacuteleveacutee et pour la pertinence drsquoune approche laquo culturelle raquo de lrsquoenseignement des sciences visant agrave identifier et agrave reacuteduire les obstacles agrave la culture scientifique

Si la performance cognitive des eacutelegraveves finlandais srsquoest aveacutereacutee excellente au travers des reacutesultats de PISA 2003 leur engagement dans la scolariteacute nrsquoest pas si flatteur Pour mieux comprendre ce reacutesultat moyen constateacute dans les

reacuteponses PISA une eacutetude finlandaise (Linnakyla amp Malin 2008) a regroupeacute les eacutelegraveves en six laquo clusters raquo selon les variables drsquoacceptation par les pairs de relations entre eacutelegraveves et ensei-gnants de perceptions des valeurs de lrsquoeacutecole et de perceptions sur lrsquoimpor-tance de lrsquoeacuteducation et de lrsquoeacutecole pour leur avenir

dANS QUELLE mESUrE PEUT-oN se fier agrave PisA

On srsquoaccorde au sein mecircme de la com-munauteacute des chercheurs en eacuteducation sur le fait que le programme de lrsquoOCDE a beacuteneacuteficieacute drsquoune expertise et drsquoune attention meacutethodologique qui obligent agrave deacuteplacer la critique sur un autre ter-rain que la discussion sur le caractegravere plus ou moins rigoureux de lrsquoenquecircte elle-mecircme Cela ne preacutejuge pas en revanche drsquoautres deacutebats et interpella-tions qui peuvent conduire agrave souligner les limites de ce type drsquoenquecirctes agrave qui ont veut parfois faire dire plus qursquoelles ne peuvent signifier

Lrsquoeffet du choix des laquo 15 ans raquo

On sait que dans lrsquoeacutechantillon des eacutelegraveves franccedilais de PISA ceux qui sont colleacutegiens ont pour caracteacuteristique drsquoavoir redoubleacute alors que tous les lyceacuteens sont laquo agrave lrsquoheure raquo Si le palier drsquoorientation intervenait en France avant ou apregraves cet acircge le problegraveme ne se poserait pas en ces termes La question agrave laquelle permet de reacutepondre lrsquoenquecircte PISA est donc celle du mode de scolarisation des eacutelegraveves agrave 15 ans dans chaque pays et drsquoen infeacuterer les conseacutequences sur les compeacutetences acquises tout au long de la scolariteacute Elle ne permet pas en revanche de me-surer le poids des effets de composi-tion des eacutetablissements ou des classes sur les compeacutetences (Felouzis 2009) Lrsquoeacutechantillon des eacutelegraveves Franccedilais de lrsquoenquecircte PISA nrsquoest pas repreacutesentatif drsquoun niveau scolaire particulier agrave la dif-feacuterence drsquoautre pays qui pratiquent le passage automatique comme la Fin-lande le Royaume-Uni ou la Suegravede (Grenet 2008)

Lrsquoanalyse des regrou-pements effectueacutes a permis ensuite drsquoiden-tifier des groupes significatifs par pays ou selon le contexte geacuteographique culturel ou politique

l

918 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Certains chercheurs ont aussi fait remar-quer qursquoune telle approche eacutetait suscep-tible de peacutenaliser meacutecaniquement les approches peacutedagogiques fondeacutees sur la construction par laquo briques raquo drsquoun savoir dont le terme est fixeacute agrave la fin de lrsquoensei-gnement secondaire (lorsque les eacutelegraveves atteignent lrsquoacircge de 17 ou 18 ans) plutocirct que la constitution drsquoun laquo socle commun de connaissances raquo supposeacute atteint agrave la fin de la scolariteacute obligatoire (Prais 2003)

Drsquoautres regrettent que les eacutevaluations in-ternationales se concentrent sur les reacutesul-tats des eacutelegraveves durant ou agrave la fin de leur scolariteacute sans connaicirctre les progregraves que ces eacutelegraveves ont accomplis depuis qursquoils ont commenceacute leur scolariteacute (Tymms 2004) Ils plaident par conseacutequent pour des eacutetudes longitudinales qui prennent en compte les acquis des enfants agrave lrsquoentame de leur scolariteacute

Des questions meacutethodologiques reacutecurrentes pour ce type drsquoeacutevaluations

Alors que les comparaisons interna-tionales peuvent ecirctre pertinentes pour construire un jugement global sur la per-formance des systegravemes eacuteducatifs il faut se meacutefier de jugements plus deacutetailleacutes es-time William (2008) En particulier on ne peut tirer de conclusions trop fines sur la qualiteacute de lrsquoenseignement deacutelivreacute En effet les eacutevaluations comme PISA sont tregraves peu sensibles aux effets drsquoun enseignement de haut niveau pour trois raisons

minus compareacute au taux de reacuteussite agrave lrsquointeacute-rieur drsquoune classe drsquoacircge le taux de progression des individus reste tou-jours tregraves modeste

minus les meacutethodes standardiseacutees des tests tendent agrave supprimer les items qui montrent une grande sensibiliteacute aux variations drsquoenseignement

minus lrsquoutilisation dans PISA drsquoitems de dif-feacuterenciation (qui fonctionnent pour identifier et exclure les items non com-parables agrave travers les diffeacuterentes lan-gues) reacuteduisent la reacuteactiviteacute des eacuteva-luations agrave lrsquoenseignement

Les eacutevaluations externes internationales butent par ailleurs toujours sur la diffi-culteacute drsquoutiliser des concepts et des mots qui gardent une mecircme signification agrave tra-vers plusieurs langages mecircme si une traduction est techniquement correcte la connotation et lrsquoutilisation des mots iden-tiques peuvent varier drsquoun pays agrave lrsquoautre Il ne faut pas sous-estimer les biais issus des traductions ou des sens diffeacuterents des consignes selon les langages et les aires culturelles l

Vrignaud (2006) se demande plus fonda-mentalement si dans PISA le souci et lrsquoexigence psychomeacutetrique l nrsquoont pas pris le dessus sur lrsquoexigence drsquoeacutelabora-tion theacuteorique de ce qursquoest la litteacuteratie Il pointe notamment le risque de consideacute-rer les compeacutetences mesureacutees par PISA comme doteacutees drsquoune reacutealiteacute autonome et objective indeacutependante des contextes culturels et sociaux alors que ces com-peacutetences sont eacutetroitement deacutependantes drsquoun modegravele de mesure qui peut ecirctre lieacute agrave des types drsquoapprentissages scolaires et de milieux culturels preacuteciseacutement contex-tualiseacutes Il plaide par conseacutequent pour une meilleure prise en compte dans PISA de la deacutefinition theacuteorique (et non unique-ment psychomeacutetrique) des compeacutetences par domaines comme cela eacuteteacute fait dans le projet DESECO de lrsquoOCDE

pisa et le pilotage des systegravemes eacutedUCatifsLe laquo choc PisA raquo en ALLemAgne

Lrsquoexemple le plus connu de vaste mouve-ment de reacuteforme provoqueacute par PISA est celui de lrsquoAllemagne ougrave la preacutesentation des reacutesultats de lrsquoenquecircte internationale a provoqueacute une remise en cause de la per-ception qursquoavaient les allemands de leur systegraveme eacuteducatif voire mecircme de leurs valeurs sociales et culturelles Drsquoautres enquecirctes internationales comparatives avaient deacutejagrave souligneacute les faibles per-formances allemandes notamment en matheacutematiques mais nrsquoeacutetaient connues

Le mot laquostyleraquo a par exemple pour des franccedilais un sens tregraves litteacuteraire (le style drsquoun eacutecrivain) alors qursquoil englobe pour des anglophones des questions drsquoillustration ou de typographie

laquo La psychomeacutetrie est la science eacutetu-diant lrsquoensemble des techniques de mesures pratiqueacutees en psychologie ainsi que les techniques de validation de ces mesures Ces tech-niques concernent tous les champs de la psychologie ainsi que drsquoautres domaines de sciences connexes (comme la recherche en comportement du consommateur par exemple) mais elles ont eacuteteacute surtout deacuteve-loppeacutees agrave lrsquoorigine pour la mesure des performances intellec-tuelles raquo (Wikipedia)

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

918 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Certains chercheurs ont aussi fait remar-quer qursquoune telle approche eacutetait suscep-tible de peacutenaliser meacutecaniquement les approches peacutedagogiques fondeacutees sur la construction par laquo briques raquo drsquoun savoir dont le terme est fixeacute agrave la fin de lrsquoensei-gnement secondaire (lorsque les eacutelegraveves atteignent lrsquoacircge de 17 ou 18 ans) plutocirct que la constitution drsquoun laquo socle commun de connaissances raquo supposeacute atteint agrave la fin de la scolariteacute obligatoire (Prais 2003)

Drsquoautres regrettent que les eacutevaluations in-ternationales se concentrent sur les reacutesul-tats des eacutelegraveves durant ou agrave la fin de leur scolariteacute sans connaicirctre les progregraves que ces eacutelegraveves ont accomplis depuis qursquoils ont commenceacute leur scolariteacute (Tymms 2004) Ils plaident par conseacutequent pour des eacutetudes longitudinales qui prennent en compte les acquis des enfants agrave lrsquoentame de leur scolariteacute

Des questions meacutethodologiques reacutecurrentes pour ce type drsquoeacutevaluations

Alors que les comparaisons interna-tionales peuvent ecirctre pertinentes pour construire un jugement global sur la per-formance des systegravemes eacuteducatifs il faut se meacutefier de jugements plus deacutetailleacutes es-time William (2008) En particulier on ne peut tirer de conclusions trop fines sur la qualiteacute de lrsquoenseignement deacutelivreacute En effet les eacutevaluations comme PISA sont tregraves peu sensibles aux effets drsquoun enseignement de haut niveau pour trois raisons

minus compareacute au taux de reacuteussite agrave lrsquointeacute-rieur drsquoune classe drsquoacircge le taux de progression des individus reste tou-jours tregraves modeste

minus les meacutethodes standardiseacutees des tests tendent agrave supprimer les items qui montrent une grande sensibiliteacute aux variations drsquoenseignement

minus lrsquoutilisation dans PISA drsquoitems de dif-feacuterenciation (qui fonctionnent pour identifier et exclure les items non com-parables agrave travers les diffeacuterentes lan-gues) reacuteduisent la reacuteactiviteacute des eacuteva-luations agrave lrsquoenseignement

Les eacutevaluations externes internationales butent par ailleurs toujours sur la diffi-culteacute drsquoutiliser des concepts et des mots qui gardent une mecircme signification agrave tra-vers plusieurs langages mecircme si une traduction est techniquement correcte la connotation et lrsquoutilisation des mots iden-tiques peuvent varier drsquoun pays agrave lrsquoautre Il ne faut pas sous-estimer les biais issus des traductions ou des sens diffeacuterents des consignes selon les langages et les aires culturelles l

Vrignaud (2006) se demande plus fonda-mentalement si dans PISA le souci et lrsquoexigence psychomeacutetrique l nrsquoont pas pris le dessus sur lrsquoexigence drsquoeacutelabora-tion theacuteorique de ce qursquoest la litteacuteratie Il pointe notamment le risque de consideacute-rer les compeacutetences mesureacutees par PISA comme doteacutees drsquoune reacutealiteacute autonome et objective indeacutependante des contextes culturels et sociaux alors que ces com-peacutetences sont eacutetroitement deacutependantes drsquoun modegravele de mesure qui peut ecirctre lieacute agrave des types drsquoapprentissages scolaires et de milieux culturels preacuteciseacutement contex-tualiseacutes Il plaide par conseacutequent pour une meilleure prise en compte dans PISA de la deacutefinition theacuteorique (et non unique-ment psychomeacutetrique) des compeacutetences par domaines comme cela eacuteteacute fait dans le projet DESECO de lrsquoOCDE

pisa et le pilotage des systegravemes eacutedUCatifsLe laquo choc PisA raquo en ALLemAgne

Lrsquoexemple le plus connu de vaste mouve-ment de reacuteforme provoqueacute par PISA est celui de lrsquoAllemagne ougrave la preacutesentation des reacutesultats de lrsquoenquecircte internationale a provoqueacute une remise en cause de la per-ception qursquoavaient les allemands de leur systegraveme eacuteducatif voire mecircme de leurs valeurs sociales et culturelles Drsquoautres enquecirctes internationales comparatives avaient deacutejagrave souligneacute les faibles per-formances allemandes notamment en matheacutematiques mais nrsquoeacutetaient connues

Le mot laquostyleraquo a par exemple pour des franccedilais un sens tregraves litteacuteraire (le style drsquoun eacutecrivain) alors qursquoil englobe pour des anglophones des questions drsquoillustration ou de typographie

laquo La psychomeacutetrie est la science eacutetu-diant lrsquoensemble des techniques de mesures pratiqueacutees en psychologie ainsi que les techniques de validation de ces mesures Ces tech-niques concernent tous les champs de la psychologie ainsi que drsquoautres domaines de sciences connexes (comme la recherche en comportement du consommateur par exemple) mais elles ont eacuteteacute surtout deacuteve-loppeacutees agrave lrsquoorigine pour la mesure des performances intellec-tuelles raquo (Wikipedia)

l

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1018

que des eacutelites La nouveauteacute de PISA a consisteacute agrave toucher le grand public et agrave geacuteneacuterer une attente politique nouvelle Alors que le champ de la politique eacutedu-cative ne constituait pas un sujet poli-tique majeur jusqursquoau milieu des anneacutees 90 la conviction de plus en plus reacutepan-due drsquoun lien fort entre la compeacutetitiviteacute eacuteconomique et la performance eacuteduca-tive a constitueacute le terreau fertile du choc PISA Il ne srsquoagissait plus uniquement de questions eacuteducatives mais drsquoenjeux de deacuteclin ou de prospeacuteriteacute nationale ce qui a propulseacute le sujet en tecircte des prio-riteacutes (Martens et Niemann 2010)

Les reacutesultats de PISA degraves le deacutebut du programme ont montreacute que lrsquoAlle-magne figure parmi les pays dans les-quels la reacuteussite eacuteducative est la plus eacutetroitement correacuteleacutee au milieu socio-eacuteconomique l Dans ce pays ougrave les reacute-gions sont traditionnellement jalouses de leurs preacuterogatives en matiegravere drsquoeacutedu-cation le choc PISA srsquoest notamment traduit par le fait que tous les Laumlnder ont approuveacute lrsquointroduction de stan-dards nationaux au deacutebut de lrsquoanneacutee scolaire 2004-2005 Le consentement agrave lrsquoinstauration de standards et drsquoune structure nationale qui srsquoassure du res-pect de ces normes aurait eacuteteacute incon-cevable sans lrsquoimpact de lrsquoeacutetude PISA (Ertl 2006)l

Lrsquoeacutevaluation internationale a eacutegalement eu des conseacutequences importantes sur le discours eacuteducatif et la recherche en eacuteducation en Allemagne Une prioriteacute agrave la recherche empirique concernant les pratiques eacuteducatives les plus efficaces a eacuteteacute clairement affirmeacutee au point que certains auteurs ont eacutevoqueacute une res-tructuration de la discipline laquo eacuteduca-tion raquo en Allemagne (Bohl 2004)

En revanche si lrsquoagenda des reacuteformes en cours srsquoest focaliseacute sur certains as-pects (standards nationaux mesures drsquoassurance qualiteacute enseignement centreacute sur les compeacutetences) drsquoautre ont eacuteteacute neacutegligeacutes Ainsi il y a eu peu de deacutebat sur la question sensible de la seacute-lection des eacutelegraveves agrave lrsquoentreacutee de lrsquoensei-gnement secondaire outre-Rhin alors

mecircme que de nombreux experts attri-buent justement une grande partie des mauvais reacutesultats allemands dans PISA au tri trop preacutecoce des eacutelegraveves entre des filiegraveres fortement diffeacuterencieacutees

Crsquoest eacutegalement agrave ce niveau qursquoon peut constater que des diagnostics proches ne provoquent pas forceacutement les mecircmes reacuteactions tout au moins au niveau des deacutecideurs de politique pu-blique Ainsi certains travaux pointent le fait que si les reacutesultats des eacutelegraveves allemands et tchegraveques aux eacutepreuves de PISA sont en de nombreux points similaires la perception de PISA a eacuteteacute fort diffeacuterente dans les deux pays En Reacutepublique tchegraveque les reacutesultats de PISA nrsquoont deacuteboucheacute sur aucun chan-gement drsquoampleur la seacutelection preacutecoce mise en place au deacutebut des anneacutees 90 beacuteneacuteficiant drsquoun soutien majoritaire des eacutelites des meacutedias et des parents Il nrsquoy a pas en la matiegravere drsquoevidence-based policy l estime le chercheur tchegraveque Greger (2008)

dES ETATS-UNIS INdIffeacuterENTS agrave PISA

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme

Les reacutesultats PISA des eacutelegraveves aux Etats-Unis nrsquoont reccedilu quasiment aucun eacutecho ce qui confirme srsquoil en eacutetait besoin lrsquoabsence de lien meacutecanique entre le rang drsquoun pays dans PISA et sa reacuteaction aux reacutesultats du programme Plusieurs analyses soulignent le fait que le pays avait pris conscience depuis longtemps des faiblesses de son eacuteducation peut expliquer lrsquoabsence de laquo choc PISA raquo aux Eacutetats-Unis (Martens amp Niemann 2010) l

Depuis la fin des anneacutees 1950 et le lance-ment du Spoutnik par lrsquoUnion sovieacutetique la compeacutetitive scientifique du pays est une obsession ameacutericaine Elle a ameneacute de multiples rapports deacutecreacutetant la mobi-lisation sur lrsquoeacuteducation (A Nation at Risk

Les eacutelegraveves allemands drsquoorigine immigreacutee sont parmi ceux qui eacuteprouvent le plus de difficulteacutes compareacutes aux eacutelegraveves drsquoorigine immigreacutee dans les autres pays de lrsquoOCDE

Ces reacuteformes ont eacuteteacute largement inspireacutees par le rapport commandeacute agrave Klieme (2004) dans lequel ce chercheur agrave lrsquoInstitut Allemand de Recherche Peacutedago-gique Internationale (le DIPF) et son eacutequipe preacuteconisent la mise en place de laquo standards de reacutesultats raquo

Pour une deacutefinition de lrsquoevidence based edu-cation ou policy voir notre billet sur le blog Eduveille

Malgreacute un peu flatteur classement en 24egraveme position en matheacutema-tiques sur les 30 pays de lrsquoOCDE les reacutesultats de PISA 2006 nrsquoont par exemple pas fait deacutebat dans la presse

l

l

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

1118 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

au deacutebut des anneacutees 1980 No Child Left Behind au deacutebut des anneacutees 2000) et entraicircneacute toute une seacuterie de mesures visant agrave mieux controcircler les reacutesultats des eacutetablissements scolaires (accountability standardshellip) Les performances parfois meacutediocres de lrsquoeacuteducation constituent donc un constat partageacute dans lrsquoesprit des ameacute-ricains et ont susciteacute la mise en place de nombreux dispositifs de tests et drsquoeacutevalua-tions pour comparer les performances des eacutecoles et des eacutetats On comprend degraves lors que les reacutesultats PISA ne sont pas reccedilus comme une reacuteveacutelation dans un pays plus tourneacute vers ses eacutevaluations internes le programme drsquoeacutevaluation international ne met pas en lumiegravere un deacutecalage entre une image laquo perccedilue raquo et une image laquo reacuteelle raquo contrairement agrave ce qui srsquoest passeacute en Alle-magne l

UNE LArgE gAmmE dE reacuteAC-TIoNS SELoN LES PAYS

La faccedilon dont PISA a eacuteteacute reccedilu dans drsquoautres pays se reacutepartit sur un vaste spectre de reacuteactions entre ces deux pocircles extrecircmes que constituent lrsquoAlle-magne et les Eacutetats-Unis

Au Danemark les enquecirctes de lrsquoIEA et de PISA ont eacuteteacute largement commen-teacutees ces vingt derniegraveres anneacutees et ont engendreacute la diffusion drsquoune veacuteritable culture de lrsquoeacutevaluation (Egelund 2008) Une dizaine de tests nationaux a eacuteteacute introduite depuis 2007 sur des thegravemes varieacutes et agrave diffeacuterents niveaux de la sco-lariteacute Le fait que PISA srsquoappuie sur les compeacutetences pour la formation tout au long de la vie est plutocirct bien accueilli car on a constateacute un degreacute de corres-pondance eacuteleveacute entre les objectifs de la scolariteacute obligatoire et les items de PISA Autrement dit PISA valide une culture scolaire locale qui leacutegitime les verdicts de lrsquoenquecircte internationale (et vice versa)

Au Portugal le gouvernement consti-tutionnel a utiliseacute lrsquoenquecircte de lrsquoOCDE pour justifier plusieurs reacuteformes eacutedu-catives et leur apporter une creacutedibiliteacute laquo internationale raquo au delagrave des contro-verses nationales Ce fut le cas notam-

ment du laquo Nouveau Modegravele drsquoeacutevalua-tion des enseignants raquo du Programme national drsquoeacuteducation agrave la langue portu-gaise ou du Plan national de lecture Les donneacutees de PISA ont permis de renforcer les arguments du gouver-nement et drsquoeacutelargir leurs capaciteacutes de deacutecision en consolidant les connais-sances issues des outils drsquoeacutevaluation nationale (Afonso 2009)

Alors que le rang des Pays-Bas se deacute-grade relativement dans PISA depuis 2003 le gouvernement fixait comme prioriteacute politique agrave lrsquoautomne 2010 de figurer agrave terme dans le laquotop 5raquo de PISA en focalisant son attention sur les tests les savoirs fondamentaux et les 20 drsquoeacutelegraveves les plus performants (Kuiper amp van den Akker 2011)

En Finlande les excellents reacutesultats des eacutelegraveves ont eacutevidemment plutocirct conforteacute le systegraveme eacuteducatif mais ses diffeacuterents acteurs en ont tireacute des en-seignements diffeacuterents Les syndicats drsquoenseignants ont mis en avant que les bons reacutesultats PISA eacutetaient le pro-duit de lrsquoexpertise et de la qualiteacute des enseignants finlandais Les repreacutesen-tants du gouvernement ont plutocirct relieacute ces reacutesultats aux reacuteformes mises en œuvre dans les anneacutees preacuteceacutedentes deacuteveloppement drsquoune eacutecole compreacute-hensive formation universitaire des enseignants autonomie accordeacutee aux enseignants et deacutecentralisation de lrsquoeacuteducation etc En revanche alors que les rapports de PISA montrent que les bons reacutesultats finlandais sont notamment dus agrave lrsquohomogeacuteneacuteiteacute des reacutesultats des eacutelegraveves avec seulement peu drsquoeacutelegraveves laquo tregraves performants raquo des analyses ministeacuterielles preacutesentent ce fait comme un problegraveme en suggeacuterant des mesures pour mieux prendre en compte les eacutetudiants preacutecoces ou tregraves doueacutes (Rautalin amp Alasuutari 2009)

En Hongrie les reacutesultats de PISA sont en contradiction avec les preacuteceacutedentes enquecirctes internationales de lrsquoIEA alors que ces derniegraveres baseacutees sur les programmes drsquoeacutetudes permettent de mettre en exergue un excellent ni-

Par ailleurs comme les Eacutetats-Unis disposent drsquouniversiteacutes attrac-tives qui aspirent un grand nombre de doc-torants de haut niveau venus de toute la pla-negravete la formation des eacutelites ne constitue pas un problegraveme majeur pour cette nation

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1218

veau de performance des eacutelegraveves hon-grois les reacutesultats de PISA soulignent au contraire les scores deacutecevants des eacutecoliers dans les compeacutetences viseacutees par lrsquoeacutetude de lrsquoOCDE Tout semble donc en place pour un laquo choc PISA raquo comparable agrave lrsquoAllemagne Pourtant si les reacutesultats de PISA ont eacuteteacute inteacutegreacutes dans le discours public sur lrsquoeacuteduca-tion en Hongrie ils nrsquoont deacuteboucheacute ni sur un consensus politique quant aux conclusions agrave en tirer pour la politique publique ni mecircme sur un consensus scientifique sur la faccedilon de les inter-preacuteter (Bajomi Bereacutenyi Neumann amp Vida 2009) En Roumanie PISA nrsquoa geacuteneacutereacute que peu de deacutebat et a eu peu de conseacutequences Faute drsquoacteurs sociaux ou politiques qui srsquoen empa-rent les reacutesultats de lrsquoenquecircte nrsquoont constitueacute un sujet de preacuteoccupation ni public ni professionnel (Rostas et al 2009) l

PISA est un sujet bien couvert dans les meacutedias en Communauteacute franccedilaise de Belgique au parlement et dans les deacutebats de politique publique Selon certains chercheurs (Mangez 2009) les reacutesultats sont largement utiliseacutes comme un argument suppleacutementaire dans des deacutebats qui restent fonda-mentalement articuleacutes sur des clivages preacuteexistants ou des oppositions tradi-tionnelles entre diffeacuterentes options de politiques publiques

UNE ENTreacuteE TArdIVE ET modeacute-reacuteE dE PISA dANS LE deacutebAT PU-bLIC frANccedilAIS

Charbonnier (2011) l affirme que laquo dans lrsquoeacutecole franccedilaise on eacutevalue beaucoup les eacutelegraveves mais on a des reacuteticences agrave ce que le systegraveme soit eacutevalueacute raquo Il est vrai qursquoil nrsquoy pas eu en France de laquo choc PISA raquo crsquoest-agrave-dire une eacutevolution convergente et bru-tale du deacutebat public vers lrsquoacceptation drsquoun ensemble de reacuteformes dont lrsquoen-quecircte PISA aurait montreacute la neacutecessiteacute Jusqursquoen 2004 le deacutebat sur PISA est drsquoabord une affaire drsquoinitieacutes notam-ment parce que le ministegravere a anticipeacute la communication officielle des reacutesul-

tats pour mieux en atteacutenuer la por-teacutee et canaliser le deacutebat public Les experts du ministegravere insistent sur les biais meacutethodologiques pendant que les syndicats enseignants et de nom-breux acteurs eacuteducatifs se satisfont de ces reacuteticences qui renforcent leurs reacuteserves de principe envers une eacuteva-luation externe conduite par lrsquoOCDE

En revanche agrave la suite de lrsquoeacutelection de Sarkozy en 2007 les reacutesultats de PISA 2006 sont fortement mobiliseacutes par le nouveau gouvernement en par-ticulier par le ministre de lrsquoEacuteducation Darcos PISA 2006 marque en cela une rupture avec une plus grande uti-lisation de lrsquoenquecircte dans les discours politiques et lrsquoinstallation du sujet PISA dans le paysage meacutediatique franccedilais En ce sens crsquoest bien un changement politique qui a conduit agrave un change-ment cognitif et non lrsquoinverse (Mons amp Pons 2009)

Les reacutesultats estimeacutes meacutediocres de la France dans PISA 2006 et 2009 sont ainsi plus freacutequemment invoqueacutes pour justifier ou pour invoquer la neacutecessiteacute de certaines mesures ou reacuteformes Neacuteanmoins on ne peut dire que le deacute-bat sur lrsquoeacutecole srsquoest reacuteorganiseacute autour des diagnostics de PISA Tout juste peut-on relever que les bons reacutesultats de la Finlande et de certains autres pays nordiques ont contribueacute agrave invo-quer reacuteguliegraverement les expeacuteriences eacuteducatives de ces pays soit pour srsquoen inspirer au nom des bonnes pratiques soit pour les relativiser au regard drsquoautres critegraveres l

UN eacuteLeacutemENT CENTrAL dU soft power internAtionAL

Les enquecirctes de lrsquoOCDE ont souvent ameneacute des experts des chercheurs et des deacutecideurs de politique eacuteducative agrave se rencontrer et agrave se confronter pour analyser les donneacutees des diffeacuterentes vagues de PISA La reacuteussite de lrsquoeacuteva-luation internationale a ainsi un aspect ineacutedit dans la mesure ougrave les donneacutees semblent repreacutesenter une reacutefeacuterence commune qui permet de relier les

Neacuteanmoins agrave partir de 2006 des tests drsquoeacutevaluation nationaux ont eacuteteacute mis en place agrave divers niveaux de la scolariteacute et deviennent progressivement un outil de reacutegulation

Analyste OCDE et chargeacute de la commu-nication sur PISA

Il faut ici relever que le cas de la Finlande dont les bons reacutesultats sont preacutesenteacutes comme exemplaires drsquoune reacuteussite de la scola-risation commune jusqursquoagrave 15 ans focalise par conseacutequent les attentions de ceux qui veulent remettre en cause cette relation entre eacutecole commune et bons reacutesultats sco-laires On trouve ainsi toute une seacuterie drsquoeacutecrits agrave viseacutee poleacutemique visant agrave deacuteconstruire le laquo modegravele finlandais raquo de lrsquoarticle de type uni-versitaire (Bulle 2009) jusqursquoagrave des blogs precirctant agrave un faux laquo universitaire raquo fin-landais (Taksin Nuoret introuvable en Finlande et dans tout annuaire universitairehellip) toute une theacuteorie attribuant agrave la langue finnoise les bons reacutesultats de la Finlande dans PISA

l

l

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

1318 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

mondes de la recherche et du pilo-tage politique (Barroso amp De Carval-ho 2008) En cela PISA vecteur de meacutediation entre recherche et politique est inteacutegreacutee dans une chaicircne de pro-cessus de traductions entre plusieurs mondes

Lrsquoutilisation de lrsquoenquecircte par les gou-vernements illustre aussi la faccedilon dont lrsquoeacutevaluation externe des eacutelegraveves est aujourdrsquohui largement utiliseacutee comme outil de reacutegulation des politiques eacutedu-catives dans le cadre de ce que les chercheurs de politique publique nom-ment une laquo soft regulation raquo avec lrsquoOCDE intervenant comme laquothird par-ty evaluator raquo pour eacutevaluer classer et comparer les diffeacuterents fournisseurs de services eacuteducatifs que sont les Etats PISA permettrait alors agrave lrsquoOCDE de jouer un rocircle indirect mais majeur dans la gouvernance de lrsquoeacuteducation Plu-sieurs chercheurs qui ont travailleacute sur la laquo gouvernance par les nombres raquo se sont ainsi focaliseacutes sur le programme international comme outil drsquoune nou-velle gouvernance de lrsquoespace euro-peacuteen de lrsquoeacuteducation (Grek 2009) A travers ses enquecirctes certains esti-ment que lrsquoOCDE dispose drsquoune cau-tion scientifique pour populariser des orientations politiques en matiegravere eacutedu-cative (Mangez 2009)

Cette perspective suscite certaines deacutefiances et mises en garde contre lrsquousage de PISA consistant agrave en faire un outil de benchmarking en utilisant son potentiel de leacutegitimation scientifique comme eacuteleacutement drsquoune evidence based education (eacuteducation baseacutee sur des reacutesultats scientifiques) l Personne ne revendique toutefois drsquoaller vers un systegraveme eacuteducatif laquo universel raquo dont PISA serait la pierre de touche mais lrsquointeacuterecirct de confronter les solutions des diffeacuterents pays agrave des problegravemes qui sont souvent communs est souligneacute Encore faut-il prendre en compte les donneacutees de contexte (et donc disposer de questionnaires en conseacutequence) pour eacuteviter les conclusions rapides en terme de relations causales en attri-buant les supposeacutes laquo bons raquo reacutesultats

drsquoun pays agrave certaines caracteacuteristiques apparentes sans plus de controcircle (Eacutemin 2008)

Les enquecirctes cherchant agrave identifier les facteurs de causaliteacute devraient plutocirct conduire agrave des appels agrave projets repo-sant sur drsquoautres meacutethodes que les grandes enquecirctes quantitatives Ces projets devraient inclure des eacutetudes longitudinales articulant des meacutethodes qualitatives et quantitatives (Egelund 2008) Plus optimiste Gustafsson (2008) reconnaicirct que les eacutevaluations internationales se precirctent facilement agrave de mauvaises interpreacutetations ou des usages biaiseacutes Il estime toutefois qursquoelles offrent des possibiliteacutes drsquoameacute-liorer la recherche en eacuteducation gracircce agrave la qualiteacute des donneacutees produites qui permettent de mieux comprendre les effets eacuteducatifs de variables situeacutees dans ou en dehors du systegraveme eacuteduca-tif

Les responsables politiques et eacuteducatifs qui sont proba-blement les lecteurs les plus assidus des rapports sont en effet peut-ecirctre conduits agrave des confusions meacutelan-geant les facteurs les effets et les causes

En revanche alors que les donneacutees rassem-bleacutees pourraient justi-fier la mise en œuvre drsquoenquecirctes secon-daires Rochex (2008) regrette que les orga-nisations internatio-nales et les gouverne-ments ne semblent pas deacutesireux drsquoencourager et de financer de telles investigations dans le respect de lrsquoautonomie scientifique des cher-cheurs

l

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1418

BiBliographie

La bibliographie de ce dossier est consultable en ligne La bibliographie en ligne comprend les reacutefeacuterences complegravetes et le cas eacutecheacuteant des accegraves aux articles citeacutes (en accegraves libre ou en accegraves payant selon les cas et selon les abonne-ments eacutelectroniques souscrits par votre institution)

bull Afonso Natercio amp Costa Estela (2009) laquo The influence of the Programme for International Student Assessment (PISA) on policy decision in Portugal the education policies of the 17th Portuguese Constitutional Govern-ment raquo Siacutesifo Educational Sciences Journal ndeg 10 p53-64

bull Alegre Miquel A amp Ferrer Gerard (2010) laquo School re-gimes and education equity some insights based on PISA 2006 raquo British Educational Research Journal Vol36 ndeg 3 p433-461

bull Barroso Joatildeo amp de Carvalho Luigraves M (2008) laquo PISA un instrument de reacutegulation pour relier des mondes raquo Revue franccedilaise de peacutedagogie ndeg 164 p77-80

bull Bautier Eacutelisabeth Crinon Jacques Rayou Patrick amp Rochex Jean-Yves (2006) laquo Performances en litteacutera-cie mode de faire et univers mobiliseacutes par les eacutelegraveves analyses secondaires de lrsquoenquecircte PISA 2000 raquo Revue franccedilaise de peacutedagogie ndeg 157 p85-101

bull Bieber Tonia amp Martens Kerstin (2011) laquo The OECD PISA Study as a Soft Power in Education Lessons from Switzerland and the US raquo European Journal of Educa-tion Vol46 ndeg 1 p101-116

bull Bodin Antoine (2009) laquo Lrsquoeacutetude PISA pour les matheacute-matiques Reacutesultats franccedilais et reacuteactions raquo Gazette des matheacutematiciens ndeg 120 p53-67

bull Bohl Thorsten (2004) laquo Empirische Unterrichtsfor-schung und Allgemeine Didaktik Ein prekaumlres Span-nungsverhaumlltnis und Konsequenzen im Kontext der PISA-Studie raquo Die deutsche Schule Vol96 ndeg 4 p414-425

bull Bottani Norbert amp Vrignaud Pierre (2005) La France et les eacutevaluations internationales Paris Ministegravere de lrsquoEacuteducation nationale

bull Bulle Nathalie (2010) laquo Lrsquoimaginaire reacuteformateur PISA et les politiques de lrsquoEacutecole raquo Le Deacutebat ndeg159 mars-avril p95-109

bull Charbonnier Eacuteric (2011) laquo En France le baccalaureacuteat est perccedilu comme plus important qursquoune licence raquo Le Monde 15 juin 2011

bull Coppens Nicolas Bourny Ginette amp Cavayeacute Bertrand (2007) laquo PISA Une enquecircte internationale pour eacuteva-luer la culture scientifique des eacutelegraveves de quinze ans raquo udppcassofr p1-10

bull Crahay Marcel amp Monseur Christian (2008) laquo Compo-sition acadeacutemique et sociale des eacutetablissements effica-citeacute et ineacutegaliteacutes scolaires une comparaison internatio-nale raquo Revue franccedilaise de peacutedagogie ndeg 164 p55-65

bull Demeuse Marc amp Baye Ariane (2008) laquo Indicateurs drsquoeacutequiteacute eacuteducative Une analyse de la seacutegreacutegation aca-deacutemique et sociale dans les pays europeacuteens raquo Revue franccedilaise de peacutedagogie ndeg 165 p91-103

bull Doyle Ann (2008) laquo Educational performance or edu-cational inequality what can we learn from PISA about France and England raquo Compare Vol38 ndeg 2 p205-217

bull Duru-Bellat Marie Mons Nathalie amp Bydanova Elizaveta (2008) laquo Coheacutesion scolaire et politiques eacuteducatives raquo Revue franccedilaise de peacutedagogie ndeg 164 p37

bull Duru-Bellat Marie Mons Nathalie amp Suchaut Bruno (2004) laquo Organisation scolaire et ineacutegaliteacutes sociales de performances les enseignements de lrsquoenquecircte PISA raquo Eacuteducation et formations ndeg 70 p123-131

bull Egelund Niels (2008) laquo The value of international com-parative studies of achievement - a Danish perspec-tive raquo Assessment in Education Principles Policy amp Practice Vol15 ndeg 3 p245-251

bull Emin Jean-Claude (2008) laquo Que fait-on des eacutevaluations internationales dans le systegraveme eacuteducatif franccedilais raquo In Eacutevaluer pour former Outils dispositifs et acteurs Gilles Baillat Jean-Marie De Ketele Leacuteopold Paquay amp Claude Theacutelot (dir) Bruxelles De Boeck

bull Ertl Hubert (2006) laquo Educational standards and the changing discourse on education the reception and consequences of the PISA study in Germany raquo Oxford Review of Education Vol32 ndeg 5 p619-634

bull Rostaacutes Zoltaacuten Koacutesa Istvaacuten Bodoacute Julianna Kiss Adeacutel amp Fejes Ildikoacute (2009) Use and Circulation of PISA in a Ro-manian context KNOWandPOL Report

1518 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

bull Felouzis Georges (2009) laquo Systegravemes eacuteducatifs et ineacutegaliteacutes scolaires une perspective internationale raquo Sociologies

bull Felouzis Georges (2009) laquo Cooptation concurrence ou-verte et marcheacutes Analyse de trois modes de construc-tion des ineacutegaliteacutes scolaires raquo Colloque laquo Penser les marcheacutes scolaires raquo Genegraveve mars 2009

bull Forestier Christian (2007) laquo Eacutegaliteacute ou compeacutetition Lrsquoimpact des comparaisons internationales raquo Pouvoirs Vol3 ndeg 122 p109-123

bull Goldstein Harvey (2008) laquo Comment peut-on utiliser les eacutetudes comparatives internationales pour doter les politiques eacuteducatives drsquoinformations fiables raquo Revue franccedilaise de peacutedagogie ndeg 164 p69-76

bull Green Andy (2008) laquo Le modegravele de lrsquoeacutecole unique lrsquoeacutegaliteacute et la chouette de Minerve raquo Revue franccedilaise de peacutedagogie ndeg 164 p15-26

bull Greger David (2008) laquo Lorsque PISA importe peu Le cas de la Reacutepublique tchegraveque et de lrsquoAllemagne raquo Re-vue franccedilaise de peacutedagogie ndeg 164 p91-98

bull Grek Sotiria (2009) laquo Governing by numbers the PISA lsquoeffectrsquo in Europe raquo Journal of Education Policy Vol24 ndeg 1 p23-37

bull Grenet Jean (2008) laquo PISA une enquecircte bancale raquo La vie des ideacutees

bull Gustafsson Jan-Eric (2008) laquo Effects of International Comparative Studies on Educational Quality on the Quality of Educational Research raquo European Educa-tional Research Journal Vol7 ndeg 1 p1-1

bull Haarh Jens H et al (2005) Explaining student perfor-mance evidence from the international PISA TIMSS and PIRLS surveys Copenhague Danish Technologi-cal Institute

bull Haut Conseil de lrsquoEacuteducation (2011) Les indicateurs rela-tifs aux acquis des eacutelegraveves Paris Ministegravere de lrsquoEacuteduca-tion nationale

bull Hugonnier Bernard (2008) laquo Les acquis des adoles-cents PISA une eacutevaluation internationale des acquis des eacutelegraveves raquo Futuribles Futuribles ndeg 344 p47-62

bull Hvistendahl Rita amp Roe Astrid (2004) laquo The literacy achievement of Norwegian minority students raquo Scan-dinavian Journal of Educational Research Vol48 ndeg 3 p307-324

bull Johannesson Ingolfur A Lingard Bob amp Mills Martin (2009) laquo Possibilities in the Boy Turn Comparative Les-sons from Australia and Iceland raquo Scandinavian Journal of Educational Research Vol53 ndeg 4 p309-329

bull Kieffer A (2007) laquo Les comparaisons statistiques des systemes educatifs en Europe pour un usage raisonne des categories indigenes raquo Revue internationale de politique compareacutee Vol14 ndeg 3 p425-436

bull Kjaeligrnsli Marit amp Lie Svein (2004) laquo PISA - and scientific literacy similarities and differences between the nordic countries raquo Scandinavian Journal of Educational Re-search Vol48 ndeg 3 p271-286

bull Klieme Eckhard (2004) Le deacuteveloppement de stan-dards nationaux de formation Une expertiseMinistegravere feacutedeacuteral de lrsquoEducation et de la Recherche (BMBF)

bull Kuiper Wilmad amp van den Akker Jan (2011) laquo A curricu-lar analysis of PISA outcomes and trends 2003-2009 the Netherlands case raquo Berlin ECER 2011

bull Le Hebel Florence Montpied Pascale amp Tiberghien An-dreacutee (2009) laquo Interpreting French students difficulties in PISA science evaluation raquo PISA research conference

bull Leino Kaisa Linnakyla Pirjo amp Malin Antero (2004) laquo Finnish studentsrsquo multiliteracy profiles raquo Scandinavian Journal of Educational Research Vol48 ndeg 3 p251-270

bull Linnakyla Pirjo amp Malin Antero (2008) laquo Finnish Stu-dentsrsquo School Engagement Profiles in the Light of PISA 2003 raquo Scandinavian Journal of Educational Research Vol52 ndeg 6 p583-602

bull Linnakyla Pirjo Malin Antero amp Taube Karin (2004) laquo Factors behind low reading literacy achievement raquo Scandinavian Journal of Educational Research Vol48 ndeg 3 p231-249

bull Mangez Eric (2009) laquo The status of PISA in the relation-ship between civil society and the educational sector in French -speaking Belgium raquo SiSIFO Educational Sci-ences Journal ndeg 10 p15-26

bull Martens Kerstin amp Niemann Dennis (2010) Govern-ance by comparison How ratings amp rankings impact national policy-making in education Bremen Univ Sonderforschungsbereich 597 Staatlichkeit im Wandel

bull Meuret Denis amp Morlaix Sophie (2006) laquo Origine sociale et performances scolaires raquo Revue franccedilaise de socio-logie Vol47 ndeg 1 p49-79

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1618

bull Mons Nathalie (2008) laquo Evaluation des politiques eacutedu-catives et comparaisons internationales introduction raquo Revue franccedilaise de peacutedagogie ndeg 164 p5-13

bull Mons Nathalie (2007) Les nouvelles politiques eacuteduca-tives La France fait-elle les bons choix Paris Presses universitaires de France

bull Mons Nathalie Duru-Bellat Marie amp Bydanova Elisaveta (2008) laquo Coheacutesion scolaire et politiques eacuteducatives raquo Revue franccedilaise de peacutedagogie ndeg 164 p37-54

bull Mons Nathalie amp Pons Xavier (2009) La reacuteception de PISA en France Connaissances et reacutegulation du sys-tegraveme eacuteducatif KNOWandPOL Report

bull Moreau Jean Nidegger Christian amp Soussi Anne (2006) laquo Deacutefinition des compeacutetences choix meacutethodologiques et retombeacutees sur la politique scolaire en Suisse raquo Re-vue franccedilaise de peacutedagogie ndeg 157 p43-53

bull Olsen Rolph V amp Lie Svein (2006) laquo Les eacutevaluations internationales et la recherche en eacuteducation principaux objectifs et perspectives raquo Revue franccedilaise de peacutedago-gie ndeg 157 p11-26

bull Prenzel Manfred amp Zimmer Karin (2006) laquo Eacutetudes com-pleacutementaires de PISA 2003 en Allemagne principaux reacutesultats et enseignements raquo Revue franccedilaise de peacuteda-gogie ndeg 157 p55-70

bull Prais Sig J(2003) laquo Cautions on OECDrsquoS Recent Edu-cational Survey (PISA) raquo Oxford Review of Education Vol29 ndeg 2 p139-163

bull Rautalin Marjaana amp Alasuutari Pertti (2009) laquo The uses of the national PISA results by Finnish officials in central government raquo Journal of Education Policy Vol24 ndeg 5 p539-556

bull Reacutemond Martine (2007) laquo Que nous apprend PIRLS sur la compreacutehension des eacutelegraveves franccedilais de 10 ans raquo Repegraveres ndeg 35 p53-72

bull Reacutemond Martine (2006) laquo Eacuteclairage des eacutevolutions internationales PIRLS et PISA sur les eacutelegraveves franccedilais raquo Revue franccedilaise de peacutedagogie ndeg 157 p71-84

bull Rey Olivier (2010) The use of external assessments and the impact on education systems In Beyond Lis-bon 2010 Perspectives from Research and Develop-ment for Education Policy in Europe edited by Sheila M Stoney Slough NFER

bull Ringarp Johanna (2010) laquo Is the Grass always Green-er The Effect of the PISA Results on Education De-bates in Sweden and Germany raquo Educational Re-search Vol9 ndeg 3 p422-430

bull Rochex Jean-Yves (2008) laquo PISA et les enquecirctes in-ternationales Enjeux scientifiques enjeux politiques raquo Revue franccedilaise de peacutedagogie ndeg 164 p81-85

bull Rochex Jean-Yves (2006) laquo Chapter 5 Social Meth-odological and Theoretical Issues Regarding Assess-ment Lessons From a Secondary Analysis of PISA 2000 Literacy Tests raquo Review of Research in Education Vol30 ndeg 1 p163-212

bull Rochex Jean-Yves (2006) laquo PISA analyses secon-daires questions et deacutebats theacuteoriques et meacutethodolo-giques raquo Revue franccedilaise de peacutedagogie ndeg 157 p5-9

bull Rostas Zoltan et al (2009) Use and Circulation of PISA in a Romanian Context Knowledge and Policy Network

bull Schleicher Andreas (2007) laquo Can competencies as-sessed by PISA be considered the fundamental school knowledge 15-year-olds should possess raquo Journal of Educational Change Vol8 ndeg 4 p349-357

bull Tiberghien Andreacutee (2009) The Importance of Aligning Teaching and Assessment In PISA science 2006 ed-ited by Rodger W Bybee and Barry McCrae Arlington NSTA Press

bull Tymms Peter(2004) laquo Are standards rising in English primary schools raquo British Educational Research Jour-nal Vol30 ndeg 4 p477-494

bull Vrignaud Pierre (2006) laquo La mesure de la litteacuteracie dans PISA la meacutethodologie est la reacuteponse mais quelle eacutetait la question raquo Revue franccedilaise de peacutedagogie ndeg 157 p27-41

bull Waldow Florian Tillmann Klaus-jurgen Dedering Ka-thrin amp Kneuper Daniel (2009) laquo What PISA Did and Did Not Do Germany after the ldquoPISA-shockrdquo raquo Educational Research Vol8 ndeg 3 p476-483

bull Wiliam Dylan (2008) laquo International comparisons and sensitivity to instruction raquo Assessment in Education Principles Policy amp Practice Vol15 ndeg 3 p253-257

1718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1818 1818

ndeg 66Oct 2011

copy Eacutecole normale supeacuterieure de LyonInstitut franccedilais de lrsquoEacuteducation

Agence Qualiteacute Eacuteducation ndash Veille et Analyses15 parvis Reneacute-Descartes BP 7000 ndash 69342 Lyon cedex 07

veillescientifiqueens-lyonfrStandard +33 (0)4 72 76 61 00 Teacuteleacutecopie +33 (0)4 72 76 61 93

pour citer ce dossier Olivier (2011) laquoPISA ce que lrsquoon en sait et ce que lrsquoon en faitraquo Dossier drsquoactualiteacute Veille et Analyses ndeg66 octobre

En ligne httpwwwinrpfrvstDAdetailsDossierphpdossier=66amplang=fr

retrouvez les derniers dossiers drsquoactualiteacute l Effets des pratiques peacutedagogiques sur les Apprentissages

httpwwwinrpfrvstDAdetailsDossierphpdossier=65amplang=fr

l Savoir enseigner dans le supeacuterieur un enjeu drsquoexcellence peacutedagogique

httpwwwinrpfrvstDAdetailsDossierphpdossier=64amplang=fr

l Les effets de lrsquoeacuteducation familiale sur la reacuteussite scolaire

httpwwwinrpfrvstDAdetailsDossierphpdossier=63amplang=fr

abonnez-vous aux dossiers drsquoactualiteacute httpslistesens-lyonfrsympainfoveilleanalyses

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1618

bull Mons Nathalie (2008) laquo Evaluation des politiques eacutedu-catives et comparaisons internationales introduction raquo Revue franccedilaise de peacutedagogie ndeg 164 p5-13

bull Mons Nathalie (2007) Les nouvelles politiques eacuteduca-tives La France fait-elle les bons choix Paris Presses universitaires de France

bull Mons Nathalie Duru-Bellat Marie amp Bydanova Elisaveta (2008) laquo Coheacutesion scolaire et politiques eacuteducatives raquo Revue franccedilaise de peacutedagogie ndeg 164 p37-54

bull Mons Nathalie amp Pons Xavier (2009) La reacuteception de PISA en France Connaissances et reacutegulation du sys-tegraveme eacuteducatif KNOWandPOL Report

bull Moreau Jean Nidegger Christian amp Soussi Anne (2006) laquo Deacutefinition des compeacutetences choix meacutethodologiques et retombeacutees sur la politique scolaire en Suisse raquo Re-vue franccedilaise de peacutedagogie ndeg 157 p43-53

bull Olsen Rolph V amp Lie Svein (2006) laquo Les eacutevaluations internationales et la recherche en eacuteducation principaux objectifs et perspectives raquo Revue franccedilaise de peacutedago-gie ndeg 157 p11-26

bull Prenzel Manfred amp Zimmer Karin (2006) laquo Eacutetudes com-pleacutementaires de PISA 2003 en Allemagne principaux reacutesultats et enseignements raquo Revue franccedilaise de peacuteda-gogie ndeg 157 p55-70

bull Prais Sig J(2003) laquo Cautions on OECDrsquoS Recent Edu-cational Survey (PISA) raquo Oxford Review of Education Vol29 ndeg 2 p139-163

bull Rautalin Marjaana amp Alasuutari Pertti (2009) laquo The uses of the national PISA results by Finnish officials in central government raquo Journal of Education Policy Vol24 ndeg 5 p539-556

bull Reacutemond Martine (2007) laquo Que nous apprend PIRLS sur la compreacutehension des eacutelegraveves franccedilais de 10 ans raquo Repegraveres ndeg 35 p53-72

bull Reacutemond Martine (2006) laquo Eacuteclairage des eacutevolutions internationales PIRLS et PISA sur les eacutelegraveves franccedilais raquo Revue franccedilaise de peacutedagogie ndeg 157 p71-84

bull Rey Olivier (2010) The use of external assessments and the impact on education systems In Beyond Lis-bon 2010 Perspectives from Research and Develop-ment for Education Policy in Europe edited by Sheila M Stoney Slough NFER

bull Ringarp Johanna (2010) laquo Is the Grass always Green-er The Effect of the PISA Results on Education De-bates in Sweden and Germany raquo Educational Re-search Vol9 ndeg 3 p422-430

bull Rochex Jean-Yves (2008) laquo PISA et les enquecirctes in-ternationales Enjeux scientifiques enjeux politiques raquo Revue franccedilaise de peacutedagogie ndeg 164 p81-85

bull Rochex Jean-Yves (2006) laquo Chapter 5 Social Meth-odological and Theoretical Issues Regarding Assess-ment Lessons From a Secondary Analysis of PISA 2000 Literacy Tests raquo Review of Research in Education Vol30 ndeg 1 p163-212

bull Rochex Jean-Yves (2006) laquo PISA analyses secon-daires questions et deacutebats theacuteoriques et meacutethodolo-giques raquo Revue franccedilaise de peacutedagogie ndeg 157 p5-9

bull Rostas Zoltan et al (2009) Use and Circulation of PISA in a Romanian Context Knowledge and Policy Network

bull Schleicher Andreas (2007) laquo Can competencies as-sessed by PISA be considered the fundamental school knowledge 15-year-olds should possess raquo Journal of Educational Change Vol8 ndeg 4 p349-357

bull Tiberghien Andreacutee (2009) The Importance of Aligning Teaching and Assessment In PISA science 2006 ed-ited by Rodger W Bybee and Barry McCrae Arlington NSTA Press

bull Tymms Peter(2004) laquo Are standards rising in English primary schools raquo British Educational Research Jour-nal Vol30 ndeg 4 p477-494

bull Vrignaud Pierre (2006) laquo La mesure de la litteacuteracie dans PISA la meacutethodologie est la reacuteponse mais quelle eacutetait la question raquo Revue franccedilaise de peacutedagogie ndeg 157 p27-41

bull Waldow Florian Tillmann Klaus-jurgen Dedering Ka-thrin amp Kneuper Daniel (2009) laquo What PISA Did and Did Not Do Germany after the ldquoPISA-shockrdquo raquo Educational Research Vol8 ndeg 3 p476-483

bull Wiliam Dylan (2008) laquo International comparisons and sensitivity to instruction raquo Assessment in Education Principles Policy amp Practice Vol15 ndeg 3 p253-257

1718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1818 1818

ndeg 66Oct 2011

copy Eacutecole normale supeacuterieure de LyonInstitut franccedilais de lrsquoEacuteducation

Agence Qualiteacute Eacuteducation ndash Veille et Analyses15 parvis Reneacute-Descartes BP 7000 ndash 69342 Lyon cedex 07

veillescientifiqueens-lyonfrStandard +33 (0)4 72 76 61 00 Teacuteleacutecopie +33 (0)4 72 76 61 93

pour citer ce dossier Olivier (2011) laquoPISA ce que lrsquoon en sait et ce que lrsquoon en faitraquo Dossier drsquoactualiteacute Veille et Analyses ndeg66 octobre

En ligne httpwwwinrpfrvstDAdetailsDossierphpdossier=66amplang=fr

retrouvez les derniers dossiers drsquoactualiteacute l Effets des pratiques peacutedagogiques sur les Apprentissages

httpwwwinrpfrvstDAdetailsDossierphpdossier=65amplang=fr

l Savoir enseigner dans le supeacuterieur un enjeu drsquoexcellence peacutedagogique

httpwwwinrpfrvstDAdetailsDossierphpdossier=64amplang=fr

l Les effets de lrsquoeacuteducation familiale sur la reacuteussite scolaire

httpwwwinrpfrvstDAdetailsDossierphpdossier=63amplang=fr

abonnez-vous aux dossiers drsquoactualiteacute httpslistesens-lyonfrsympainfoveilleanalyses

1718 Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1818 1818

ndeg 66Oct 2011

copy Eacutecole normale supeacuterieure de LyonInstitut franccedilais de lrsquoEacuteducation

Agence Qualiteacute Eacuteducation ndash Veille et Analyses15 parvis Reneacute-Descartes BP 7000 ndash 69342 Lyon cedex 07

veillescientifiqueens-lyonfrStandard +33 (0)4 72 76 61 00 Teacuteleacutecopie +33 (0)4 72 76 61 93

pour citer ce dossier Olivier (2011) laquoPISA ce que lrsquoon en sait et ce que lrsquoon en faitraquo Dossier drsquoactualiteacute Veille et Analyses ndeg66 octobre

En ligne httpwwwinrpfrvstDAdetailsDossierphpdossier=66amplang=fr

retrouvez les derniers dossiers drsquoactualiteacute l Effets des pratiques peacutedagogiques sur les Apprentissages

httpwwwinrpfrvstDAdetailsDossierphpdossier=65amplang=fr

l Savoir enseigner dans le supeacuterieur un enjeu drsquoexcellence peacutedagogique

httpwwwinrpfrvstDAdetailsDossierphpdossier=64amplang=fr

l Les effets de lrsquoeacuteducation familiale sur la reacuteussite scolaire

httpwwwinrpfrvstDAdetailsDossierphpdossier=63amplang=fr

abonnez-vous aux dossiers drsquoactualiteacute httpslistesens-lyonfrsympainfoveilleanalyses

Dossier drsquoactualiteacute veille et analyses bull ndeg 66 bull octobre 2012PISA ce que lrsquoon en sait et ce que lrsquoon en fait

1818 1818

ndeg 66Oct 2011

copy Eacutecole normale supeacuterieure de LyonInstitut franccedilais de lrsquoEacuteducation

Agence Qualiteacute Eacuteducation ndash Veille et Analyses15 parvis Reneacute-Descartes BP 7000 ndash 69342 Lyon cedex 07

veillescientifiqueens-lyonfrStandard +33 (0)4 72 76 61 00 Teacuteleacutecopie +33 (0)4 72 76 61 93

pour citer ce dossier Olivier (2011) laquoPISA ce que lrsquoon en sait et ce que lrsquoon en faitraquo Dossier drsquoactualiteacute Veille et Analyses ndeg66 octobre

En ligne httpwwwinrpfrvstDAdetailsDossierphpdossier=66amplang=fr

retrouvez les derniers dossiers drsquoactualiteacute l Effets des pratiques peacutedagogiques sur les Apprentissages

httpwwwinrpfrvstDAdetailsDossierphpdossier=65amplang=fr

l Savoir enseigner dans le supeacuterieur un enjeu drsquoexcellence peacutedagogique

httpwwwinrpfrvstDAdetailsDossierphpdossier=64amplang=fr

l Les effets de lrsquoeacuteducation familiale sur la reacuteussite scolaire

httpwwwinrpfrvstDAdetailsDossierphpdossier=63amplang=fr

abonnez-vous aux dossiers drsquoactualiteacute httpslistesens-lyonfrsympainfoveilleanalyses