Répondre à une demande institutionnelle d'évaluation : quelques problèmes de méthodologie de recherche

RÉPONDRE À UNE DEMANDE INSTITUTIONNELLE D'ÉVALUATION :QUELQUES PROBLÈMES DE MÉTHODOLOGIE DE RECHERCHE Daniel Bart et al. CERSE - Université de Caen | Les Sciences de l'éducation - Pour l'Ère nouvelle 2013/3 - Vol. 46pages 41 à 62

ISSN 0755-9593

Article disponible en ligne à l'adresse:

--------------------------------------------------------------------------------------------------------------------http://www.cairn.info/revue-les-sciences-de-l-education-pour-l-ere-nouvelle-2013-3-page-41.htm

--------------------------------------------------------------------------------------------------------------------

Pour citer cet article :

--------------------------------------------------------------------------------------------------------------------Bart Daniel et al., « Répondre à une demande institutionnelle d'évaluation : quelques problèmes de méthodologie de

recherche »,

Les Sciences de l'éducation - Pour l'Ère nouvelle, 2013/3 Vol. 46, p. 41-62. DOI : 10.3917/lsdle.463.0041

--------------------------------------------------------------------------------------------------------------------

Distribution électronique Cairn.info pour CERSE - Université de Caen.

© CERSE - Université de Caen. Tous droits réservés pour tous pays.

La reproduction ou représentation de cet article, notamment par photocopie, n'est autorisée que dans les limites desconditions générales d'utilisation du site ou, le cas échéant, des conditions générales de la licence souscrite par votreétablissement. Toute autre reproduction ou représentation, en tout ou partie, sous quelque forme et de quelque manière quece soit, est interdite sauf accord préalable et écrit de l'éditeur, en dehors des cas prévus par la législation en vigueur enFrance. Il est précisé que son stockage dans une base de données est également interdit.

1 / 1

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum

ent téléchargé depuis ww

w.cairn.info - U

niversity of Groningen - - 129.125.6.1 - 08/05/2014 13h50. ©

CE

RS

E - U

niversité de Caen

Répondre à une demande institutionnelle d’évaluation :

quelques problèmes de méthodologie de recherche

Daniel Bart*, Dominique Lahanier-Reuter** et Yves Reuter***

Résumé : Cet article rend compte d’une recherche commanditée par le Haut Conseil de l’Éducation concernant l’évaluation des effets de la promulgation de l’article 34 sur les innovations et expérimentations dans les écoles, collèges et lycées. Tandis qu’un autre article de ce numéro expose les principaux résultats de cette recherche réalisée en 2010-2011, celui-ci est plus particulièrement centré sur les méthodologies élaborées

pour répondre à cette commande insti-tutionnelle. En évoquant les tensions entre les modes de communication des différentes institutions partenaires et commanditaires, en posant clairement les problèmes rencontrés, il permet de contribuer à la réflexion sur les condi-tions des recherches en éducation, sur les obstacles avec lesquels elles ont à composer, sur les diffusions des résultats qu’elles établissent.

Mots-clés : Méthodes de recherche. Commande institutionnelle. Évaluation. Expérimentations.

* Maître de conférences, Université Lille 3, Laboratoire Théodile-CIREL (EA 4354).** Maître de conférences, Université Lille 3, Laboratoire Théodile-CIREL (EA 4354).*** Professeur des universités, Université Lille 3, Laboratoire Théodile-CIREL (EA 4354).

EN 46-3.indd 41 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen

Les Sciences de l’éducation - Pour l’Ère nouvelle, vol. 46, n° 3, 2013

42

Le 20 décembre 2011, le Haut Conseil de l’Education 1 (désormais HCE) publiait, à l’intention du Ministre de l’éducation nationale, une Note sur la mise en œuvre des expérimentations pédagogiques découlant de l’article 34 de la Loi d’orientation et de programme pour l’avenir de l’école du 23 avril 2005. Le même jour, le HCE publiait également le rapport de l’évaluation qu’il nous avait commanditée un an plus tôt sur cette thématique (Reuter et al., 2011) dans le but de rédiger cette Note. Ainsi, cette double publication nous libérait de nos obligations de confidentialité vis-à-vis de notre commanditaire et rendait possible nos propres travaux d’écriture et de diffusion de la recherche que nous avions menée en vue de produire cette évaluation.

Au-delà de cette clause de confidentialité et des aspects contractuels nous liant au Haut Conseil, l’objectif de cet article est de de contribuer à la réflexion sur les conditions des recherches en éducation à partir d’une description la plus précise possible des difficultés spécifiques que la réponse à cette commande institution-nelle nous a posées sur le plan méthodologique. Nous chercherons donc moins à décrire notre démarche en fonction des spécificités de l’évaluation de l’inno-vation (voir sur ce point l’article de Françoise Cros dans ce numéro) que d’en étudier les ressorts et tiraillements. En effet, si de nombreux articles abordent les enjeux et tensions des relations entre recherche, commande et expertise, ceux-ci nous semblent bien souvent traiter ces questions de façon très générale. Il nous a donc paru particulièrement intéressant et rare d’y réfléchir en posant clairement les problèmes que nous avons rencontrés dans nos projets d’investigation, les choix de démarche et les renoncements que nous avons opérés ou les obstacles avec lesquels nous avons dû composer. Dans la mesure où l’article de Reuter, Condette et Boulanger publié dans ce numéro en expose les principaux résultats, nous chercherons à présenter ici les développements concrets de notre démarche, depuis la demande initiale exprimée par le HCE jusqu’aux usages des résultats obtenus, en passant par la construction de notre proposition de recherche, le recueil et le traitement des données empiriques et l’écriture du rapport final. Nous verrons notamment comment les dynamiques de recherche à l’œuvre tentent d’actualiser au mieux des cadres de pensée et de pratiques scientifiques au regard des opportunités et contingences contextuelles.

1. Le HCE est un organisme consultatif institué par l’article 14 de la Loi d’orientation du 23 avril 2005. Ses missions principales sont d’émettre des avis et des propositions (rendus publics) à la demande du Ministre de l’Éducation nationale sur les questions relatives à la pédagogie, aux modes d’évaluation des connaissances des élèves, à l’organisation du système scolaire, etc.

EN 46-3.indd 42 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen

Daniel Bart, Dominique Lahanier-Reuter et Yves Reuter

43

1. Le choix d’une recherche-évaluation collectiveS’inscrivant dans une histoire institutionnelle des dispositifs supposés favoriser le changement éducatif relativement riche (Génelot & Suchaut, 2000), la Loi d’orientation et de programme du 23 avril 2005 stipule dans son article 34 que les projets pluriannuels des écoles et des établissements d’enseignement peuvent donner lieu à des expérimentations pédagogiques. À l’instar d’autres domaines ou champs d’action des politiques scolaires (Pons, 2011), ce cadre légal donne également, théoriquement, une large place à l’évaluation du dispositif concerné : une autorisation préalable des actions par les autorités académiques est ainsi requise (évaluation ex ante) ; une évaluation annuelle de ces actions par les équipes pédagogiques qui les portent est ensuite demandée ; les expérimentations peuvent également être évaluées en tant que composantes du projet d’établis-sement, qui comporte de même une obligation d’évaluation de ses « résultats » ; enfin, la production d’un bilan annuel des expérimentations menées en appli-cation de l’article 34 a été confiée 2 par le législateur au HCE.

En lien avec cette mission, les représentants du HCE ont pris contact avec Yves Reuter (Université de Lille 3, laboratoire Théodile-CIREL) à la fin du premier semestre 2010. Cette première sollicitation portant sur la réalisation d’une évaluation du dispositif « article 34 » lui a été adressée individuellement. Des échanges ultérieurs avec des membres du HCE ont d’ailleurs confirmé que cette demande initiale avait été motivée par la notoriété de recherches antérieures qu’il avait dirigées (notamment Reuter, Dir., 2007). Ainsi, du point de vue de l’organisation sollicitante, la compétence scientifique semblait d’abord indivi-duelle, quand bien même le chercheur concerné avait pu montrer en quoi la production de ces travaux s’inscrivait dans l’histoire et la dynamique de fonctionnement d’une équipe (Ibid.). Il n’y a rien là de bien nouveau : nombre de rapports emblématiques des relations entre les mondes politiques et acadé-miques (e.g. les rapports de Philippe Meirieu ou François Dubet dans le champ scolaire) portent, dans leur désignation même, des traces de cette conception d’une expertise quelque peu disjointe d’un collectif de travail scientifique. C’est

2. Comme le rappelle le HCE (2011), le législateur a renoncé à donner une mission plus large au Haut Conseil sur le plan des expérimentations et notamment à lui confier la constitution annuelle d’une liste d’établissements où des enseignants volontaires auraient pu être affectés spécifiquement, selon des procédures associant les autorités académiques, les corps d’inspection et les chefs d’éta-blissement…

EN 46-3.indd 43 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


44

aussi plus spécifiquement le cas pour la plupart des études précédentes réalisées à la demande du HCE (e.g. les rapports de Pascal Bressoux ou Marie Duru-Bellat).

Mais cette individualisation de la compétence experte soulignait peut-être plus encore une contradiction implicite entre « le » commanditaire et le chercheur concernant le fondement de l’évaluation à mener : si le premier le situait plutôt du côté d’un travail intellectuel analytique, synthétique ou prospectif plus ou moins connecté à une enquête de terrain vaguement évoquée, ce fondement se trouvait, pour le second, du côté d’une démarche de recherche comportant des investigations empiriques, des traitements et interprétations des résultats, etc., dont le coût temporel et matériel exigeait la mise en œuvre d’une démarche collective. Ce choix du responsable de la recherche s’est traduit en septembre 2010, par la constitution d’une équipe ad hoc 3, chargée dans un premier temps de réfléchir à la faisabilité et à l’intérêt de la demande du HCE et de formuler une proposition de démarche en conséquence. Cette double perspective d’une recherche-évaluation empirique et collective, a dû être spécifiée et réaffirmée tout au long de sa mise en œuvre comme nous le montrons dans la suite de cet article. Nous verrons également que cette contradiction initiale s’est concrétisée dans les conditions de discussion des résultats de l’étude et la quasi-absence de mise en relief de ce qui relevait de ces résultats et de ce qui relevait d’autres sources, dans la Note finale que le HCE allait produire en partie au moyen de cette recherche.

2. Saisir les logiques en tension dans la construction du projet de rechercheLa demande initiale du HCE touchait à la réalisation d’une évaluation de la mise en œuvre des expérimentations découlant de l’article 34 de la Loi d’orientation et de programme pour l’avenir de l’école du 23 avril 2005 à réaliser pour le printemps 2011. Cette demande s’organisait autour de trois questionnements majeurs : ce que « vaut » le dispositif « article 34 », comment il est appliqué et ce qu’il apporte sur le plan de la motivation des équipes pédagogiques, des apprentissages des élèves, etc. Méthodologiquement, il s’agissait, selon le commanditaire, d’étudier une centaine de projets et bilans annuels constitués par des équipes porteuses

3. L’équipe de recherche comprenait : Yves Reuter (responsable), Daniel Bart (responsable adjoint), Liliane Boulanger, Sylvie Condette, Dominique Lahanier-Reuter. Nous revenons sur la question du choix de l’équipe de recherche et de sa composition en conclusion de cet article.

EN 46-3.indd 44 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


45

d’expérimentations mises en œuvre depuis environ trois ans. Soulignons qu’à ce stade de la collaboration, nous ne savions pas si le HCE avait engagé des contacts comparables 4 avec d’autres chercheurs.

Partant, une série de réunions et de discussions s’est déroulée durant l’automne 2010, d’une part, au sein de l’équipe de recherche et, d’autre part, avec le HCE. Or, si ce conseil est composé de neuf membres désignés 5, il s’appuie sur une équipe de chargés de mission (professeurs agrégés pour la plupart) et de cadres de l’administration centrale, placée sous la direction d’un Secrétaire général 6. C’est donc avec ce dernier qu’ont été menées les négociations concernant l’objet de l’évaluation, ses thèmes, ses aspects méthodologiques et budgétaires, assisté par les chargés de mission pour les questions techniques, sans que nous sachions comment et en quoi celles-ci étaient relayées et discutées avec les membres du Haut Conseil. Plus largement, le travail avec ces chargés de mission a été tout aussi conséquent en amont et durant la recherche (transmission de données, production de différentes synthèses, archivage de documents, etc.) que peu visible dans les écrits publiés par le HCE. Tout laisse à penser d’ailleurs, que le nom du responsable de l’évaluation a été proposé aux membres désignés du HCE par ces chargés de mission, dont on a pu mesurer par la suite le degré important de connaissance des recherches en éducation. À l’inverse, nous n’avons eu aucun contact avec les personnalités nommées du Haut Conseil en dehors de notre participation à trois séances plénières du HCE.

Cette forme de disjonction dans le fonctionnement du Conseil, au demeurant légitime au regard des statuts et fonctions distinctes de ses membres, a pu cependant nous poser des difficultés : des logiques et visées d’acteurs divers sont ainsi rendues opérantes dans le processus de recherche sans qu’il y ait de possi-bilités réelles d’identification et d’échanges sur ces points de convergence ou de divergence. Par exemple, durant toute la recherche, aucune situation de discussion formelle n’a réuni les chercheurs, les personnalités désignées et les personnels de cet organisme. Or, il s’agit là d’un élément crucial pour la recherche dans la

4. Il s’est avéré ensuite qu’un contact avait été pris avec un autre chercheur en éducation mais que cela n’avait débouché sur aucune collaboration.

5. Trois de ses membres (dont le Président du HCE) sont désignés par le Président de la Répu-blique, deux par le président de l’Assemblée nationale, deux par le président du Sénat et deux par le président du Conseil économique et social. Les membres sont désignés pour une durée de six ans.

6. Au moment de notre collaboration avec le HCE, le Secrétaire général était un inspecteur général de l’administration de l’Éducation nationale et de la Recherche.

EN 46-3.indd 45 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


46

mesure où toute démarche évaluative génère et charrie des enjeux stratégiques, des rapports de pouvoir ou des conflits de valeurs entre les parties-prenantes qui ne sont pas sans effet sur la démarche elle-même (Demailly, 2001). Durant cette phase initiale, nous avons donc néanmoins tenté de spécifier ce fonction-nement et les logiques en tension des différents acteurs de l’évaluation, dont nos propres enjeux scientifiques. Si les personnels du HCE et les membres du Conseil nous ont ainsi paru partager une vision commune du « moindre coût » des dispositifs expérimentaux, les premiers souhaitaient plutôt promouvoir les effets bénéfiques des expérimentations et la diffusion de « bonnes-pratiques » tandis que les seconds 7 étaient plutôt inspirés par la « modernisation » du système scolaire et de sa gouvernance. Entre ces deux visées conférées à l’innovation et les contraintes qu’elles faisaient peser sur les manières de penser l’évaluation, nous avons cherché à construire et soutenir nos propres logiques de recherche (e.g. les investigations) et leurs implications légitimes (e.g. le temps requis par les enquêtes ou l’écriture du rapport final). Cette entreprise a plus particulièrement procédé d’une clarification de l’intérêt et la faisabilité de l’accès aux différents types de données, de leurs modalités d’étude et de questionnements, au moyen d’un travail exploratoire que nous abordons dans la partie suivante.

3. La formalisation d’une démarche au moyen de travaux exploratoiresNous envisagions initialement de proposer une évaluation de la mise en œuvre d’expérimentations au niveau national à travers des statistiques réalisées sur trois échantillons d’actions locales. Nous pensions étudier, au moyen d’une grille de codage, un échantillon de cent expérimentations sélectionnées par le commandi-taire de l’évaluation, un échantillon d’une centaine d’expérimentations représen-tatif des actions menées dans l’ensemble des académies et enfin un échantillon de projets non retenus par les commissions académiques de sélection des expéri-mentations. Afin de mettre à l’épreuve cette approche, nous avons donc décidé d’explorer durant l’automne 2010 un premier ensemble de projets et bilans d’expérimentation et de construire conjointement et progressivement une grille d’analyse systématique du contenu de ces derniers.

7. Encore faudrait-il pouvoir rendre compte plus précisément des différences et ressemblances entre les points de vue des neuf personnalités du HCE…

EN 46-3.indd 46 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


47

Partant des (pré)questions posées par le HCE et de l’interprétation qui en avait été faite par l’équipe, cette démarche itérative a produit une grille de plusieurs dizaine de dimensions d’analyse des expérimentations. La première série de ces catégories d’étude visait à caractériser les « sujets » qu’elles concernaient : les établis-sements (académie, type, taille, inscription dans des réseaux comme les RAR, etc.) ; les équipes qui les portent (nombre et type de personnels, partenaires extra-sco-laires, stabilité de la composition, etc.), les élèves (leur nombre ou le nombre de classes, leurs places dans le cursus scolaire, le fait d’être désignés ou volontaires pour participer à ces projets, etc.). Nous avons ensuite cherché à appréhender l’organi-sation des documents étudiés (volume de chaque dossier, degré de formalisation des documents, types de supports ou média qu’ils utilisaient, etc.) et le contenu des projets : les disciplines concernées, les modalités et leviers pédagogiques choisis, l’argumentation qui les sous-tend avec notamment les raisons qui sont avancées pour défendre l’expérimentation (essentiellement les difficultés auxquelles l’équipe mobilisée se trouve confrontée). La troisième série de dimensions tentait de spécifier la mise en œuvre spatiale (classes ordinaires, autres lieux scolaires, espaces non scolaires) et temporelle des innovations (à la fois l’ancienneté des projets et la fréquence annuelle des actions). Nous nous sommes également intéressés aux modalités prévues et effectives d’autoévaluation des projets, aux écarts possibles entre effets anticipés et constatés, et aux changements éventuellement décidés en conséquence. Enfin, nous avons cherché à rendre compte des modes de valori-sation de ces expérimentations : articles dans des revues, prix à des concours, etc.

La réflexion de l’équipe à propos de cette grille de lecture et de prise de données constituait donc un moyen de donner corps à nos questionnements et nos pistes interprétatives sur le fonctionnement du dispositif article 34 (e.g. la spécification des expérimentations selon les types d’établissement ou la compo-sition des équipes qui les portent). Mais ce travail exploratoire nous a également conduits à rencontrer des difficultés et donc, en retour, à certains renoncements. Ainsi, mettre au jour la compréhension que les élèves avaient des dispositifs expérimentaux dans lesquels ils étaient intégrés, tenter d’évaluer leur vécu de ces expérimentations ou les éventuels changements engendrés quant à leurs apprentissages auraient exigé d’autres modalités d’enquête d’une durée bien plus importante. Nous avons été contraints d’y renoncer. De même, l’absence de suite donnée par les instances ministérielles à notre demande d’accès aux motivations des décisions rectorales en matière d’autorisation de mise en œuvre des expéri-mentations nous a conduits à abandonner le traitement de cette question initia-lement prévue.

EN 46-3.indd 47 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


48

Enfin, si l’utilisation de notre grille sur les écrits produits par les équipes elles-mêmes (projets, bilans, rapports…) nous permettait de différencier les expéri-mentations entreprises, la nature de ces documents constituait une limite pour notre démarche. Ces écrits sont en effet contraints par la sphère institutionnelle dans laquelle ils sont destinés à circuler : celle de la hiérarchie, celle des conseils et instances évaluatrices des académies, etc. Nous avons donc décidé de proposer une enquête complémentaire par entretiens afin de recueillir des informations et des éclairages différents auprès d’équipes (enseignants, chefs d’établissements…) porteuses d’expérimentation et de services académiques à l’innovation.

Finalement, notre proposition de recherche, soumise par écrit et présentée lors d’une séance plénière du HCE le 16 décembre 2010, poursuivait les cinq objectifs suivants : étudier la notion d’expérimentation et ses variations dans les textes de loi et les projets innovants retenus ; rendre compte des caractéris-tiques des expérimentations mises en œuvre à travers un traitement statistique de projets et bilans écrits d’innovation ; faire état des résultats obtenus par ces expérimentations et de leur mode d’auto-évaluation dans les bilans des équipes ; mettre en évidence le vécu des équipes porteuses d’expérimentations à partir des bilans et d’entretiens menés dans des écoles, des établissements et des services académiques dédiés ; éclairer la place de la pédagogie différenciée et du Socle commun dans les expérimentations, ce sur quoi avaient insisté nos interlocuteurs lors des réunions préliminaires. Sur la base de cette proposition, un contrat de recherche a été en définitive signé avec chacun des chercheurs de l’équipe à la fin de l’année 2010. Celui-ci nous engageait à remettre un rapport final d’une cinquantaine de pages contenant des recommandations en juin 2011 (Reuter et al., 2011) et à présenter un rapport d’étape en séance plénière du Haut Conseil au mois de février 2011 8.

4. Des investigations empiriques à ajuster aux contingences institutionnellesLes opérations de collecte des projets d’expérimentations que nous souhaitions soumettre à des traitements systématiques avaient été prévues à partir d’une

8. Cette présentation aura finalement lieu en mars 2011 en raison du retard pris dans la trans-mission des documents d’enquête, retard dont les causes sont multiples, de la perte de documents, à l’incompréhension de nos demandes en passant par les réticences…

EN 46-3.indd 48 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


49

base de données institutionnelle en ligne : Expérithèque 9. Celle-ci était supposée compiler et rendre disponibles les documents (projets, bilans, etc.) produits par les équipes porteuses d’actions expérimentales, classés par académies, types d’établissements et thématiques des innovations. Nous avons été toutefois très rapidement confrontés aux limites de cette bibliothèque numérique nationale : la plupart des liens Internet vers les documents de présentation des actions étaient soit partiellement ou totalement inactifs, soit non actualisés soit encore d’accès réservé à certains utilisateurs. Nous avons donc décidé 10 de modifier en conséquence nos sources documentaires et de nous tourner vers le Dépar-tement Recherche-Développement Innovation et Expérimentation (DRDIE) de la Direction Générale de l’Enseignement Scolaire (DGESCO). Ce service, qui a succédé à la Mission de Valorisation des Innovations Pédagogiques (MIVIP) en juillet 2010, est en effet chargé de collecter annuellement l’ensemble des documents que font remonter les équipes pédagogiques, via les instances acadé-miques. Ce choix, dicté par la nécessité de disposer de matériaux empiriques, a néanmoins eu pour effet de nous rendre plus dépendants des temporalités et modes de circulation des informations au sein de l’administration centrale du ministère. Ce d’autant plus que des tensions ont pu naître au sein du DRDIE-DGESCO du fait que la mission d’évaluation des expérimentations du Haut Conseil touchait à l’un de ses domaines d’action majeurs. Il s’est écoulé en effet un mois entre la demande de ces fichiers formulée au DRDIE par le HCE le 21 décembre 2010 et leur obtention, sans que nous n’ayons d’explication claire sur les raisons d’un tel délai.

À la fin du mois de janvier 2011, nous étions toutefois en possession de plusieurs centaines de fichiers numériques relatifs à des actions expérimentales ayant fonctionné en 2009-2010 en France. À chaque expérimentation étudiée correspondait un dossier renfermant des documents hétéroclites : un ou des projet(s) d’expérimentation déposé(s) auprès des instances académiques dont le format pouvait être différemment standardisé selon les académies ; un ou des bilan(s) de l’expérimentation de l’année scolaire précédente et parfois des années antérieures ; un ou des projet(s) soumis au conseil d’établissement des

9. Voir cette base de données actualisée sur : [http://eduscol.education.fr/experitheque/carte.php].10. Plusieurs échanges de mails ont été nécessaires pour expliquer au chargé de mission du HCE

qui s’occupait d’une « veille » sur Internet des documents relatifs aux expérimentations qu’il nous était impossible de mener une recherche un tant soit peu systématique en le sollicitant au coup par coup pour des informations complémentaires.

EN 46-3.indd 49 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


50

établissements scolaires ou déposé(s) sur des sites internet d’établissements ; des copies de pages Web, de blogs, de diaporamas présentant les actions ; des pages internet décrivant certaines caractéristiques de(s) l’établissement(s) (taille, type, nombre d’élèves…).

Cela nous a permis de reconstituer tout d’abord le corpus des « 100 » expéri-mentations sélectionnées par le HCE. Ces actions et ces documents avaient été sélectionnés par le commanditaire sur la base de quatre critères renvoyant à l’application de l’article 34 : autorisation de l’expérimentation par les autorités académiques, intégration de celle-ci au projet d’établissement, développement d’une des thématiques précisées dans l’article de loi, production d’une autoé-valuation annuelle par l’équipe pédagogique. Il est cependant apparu que cette sélection comptait non pas 100 expérimentations mais 79 : certaines expérimen-tations impliquant différents établissements scolaires avaient en effet été dénom-brées 11 plusieurs fois. De plus, l’utilisation de notre grille d’analyse systématique sur les documents archivés s’est avérée complexe : leur grande variabilité selon les académies ou les équipes et leur caractère lacunaire rendaient incertain le relevé d’informations aussi factuelles que l’année de lancement de l’expérimentation, le type de l’établissement concerné, la composition de l’équipe pédagogique, les niveaux scolaires des élèves engagés, etc. Nous avons néanmoins décidé de nous donner les moyens de mener à bien notre projet d’analyses statistiques sur ce corpus de 79 expérimentations. Pour ce faire, nous avons choisi de compléter nos sources par des recherches d’informations manquantes 12 sur Internet afin de réaliser le codage le plus systématique possible.

Une seconde série d’analyses statistiques nous paraissait cependant néces-saire. En effet, la définition « légaliste » des expérimentations retenue par le HCE pour constituer ce premier corpus empêchait de saisir, a priori, la complexité des relations entre texte prescriptif et diversité des situations réelles 13. Nous

11. Soulignons que ce biais touche également certains dénombrements annuels nationaux des expérimentations réalisés par le service compétent du ministère. Sur la problématique du dénom-brement des expérimentations, voir l’article de Reuter, Condette et Boulanger dans ce numéro.

12. Ce qui posait des problèmes méthodologiques certains tels que jusqu’où pousser ce type d’investigation au regard de la multiplicité des données disponibles en ligne, à partir de quand cesser de rechercher une information manquante, etc.

13. Par exemple, l’inscription des expérimentations dans les projets d’établissement, exigée par le cadre légal, s’est avérée bien souvent peu visible : le projet d’établissement pouvait ne pas être connu par l’équipe enseignante menant l’expérimentation, nombre de projets ne sont pas déposés formellement, etc.

EN 46-3.indd 50 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


51

projetions donc de traiter un second corpus de 100 documents que nous aurions composé à partir des fichiers transmis par le DRDIE, en partie avec des projets des trois académies que nous avions ciblées pour leurs différences (Bordeaux, Lille, Paris), en partie par tirage au sort. Nous avons finalement dû modifier cette démarche pour trois raisons majeures :

– comme nous l’avons précisé pour le corpus précédent, cela exigeait des recherches d’informations complémentaires sur Internet, très chronophages, qui auraient pu nous mettre en difficulté quant au délai de remise du rapport final qui était un lieu de tension majeur entre impératifs institutionnels et impératifs de la recherche ;– ces recherches sur Internet offraient de plus peu de garantie d’efficacité (sachant l’étendue, la diversité et l’instabilité des informations en ligne) ;enfin, dans une conception de l’expérimentation différente de celle du HCE, – le DRDIE avait choisi de fusionner dans ces fichiers, les projets en lien avec l’article 34 et les actions scolaires dites, plus largement, innovantes (cf. l’article de Reuter et al. dans ce numéro).

En conséquence, la question de la représentativité de l’échantillon s’est déplacée vers le projet de construire un univers raisonné de fonctionnement possible d’un dispositif qu’il s’agissait d’explorer. Nous avons considéré dans notre évaluation que cette diversité était produite par le mode de formalisation légal du dispositif et son actualisation par des acteurs du système scolaire aux logiques d’action plus ou moins convergentes. Nous avons donc limité le second sous-corpus national à 50 expérimentations 14. Ces dernières ont été analysées à partir de notre grille de lecture (relevé des indicateurs) mais sans donner lieu à des dénombrements. Enfin, nous avons considéré un troisième sous-ensemble de plus de 1000 pages de documents porteurs d’informations sur l’article 34 et sur ses mises en œuvre. Ces documents étaient de sources différentes : documents académiques ou d’équipes pédagogiques, bilans nationaux sur les expérimentations réalisés par des services du Ministère de l’éducation nationale, extraits de sites Internet d’établissements ou de dispositifs académiques de soutien à l’expérimentation, textes législatifs…

14. Échantillonnage par tirage au sort dans chaque dossier académique d’un nombre d’expérimentations proportionnel à la contribution relative des académies au nombre total d’expérimentations contenues dans le fichier national.

EN 46-3.indd 51 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


52

5. L’objectivation des enjeux de l’évaluation dans les entretiensNotre démarche visait à articuler des éclairages différents du fonctionnement d’un dispositif tel que l’article 34. Nous avions choisi de collecter et réunir des discours sollicités ou non, des textes multiples pour que les sources d’infor-mation soient effectives et diverses. Cette approche permettait également de compenser les limites de certains documents par les possibilités des autres. Nous avons donc projeté la réalisation d’une série d’entretiens formels et informels. Pour des raisons d’accessibilité et de contextes contrastés, les académies de Paris, Lille et Bordeaux ont été visées : dans chacune d’elles, nous prévoyions des entretiens avec le Conseiller Académique Recherche-Dévelop-pement, Innovation et Expérimentation (désormais CARDIE) et deux équipes porteuses d’innovation dans le primaire et le secondaire. L’inscription de notre recherche dans un fonctionnement organisationnel exigeait toutefois que les autorités académiques concernées soient informées préalablement de notre enquête par le commanditaire. La programmation de nos entretiens était donc dépendante de l’envoi par le Président du HCE d’un courrier aux Recteurs de Lille, Paris, et Bordeaux les avisant de notre mission et leur demandant de nous faciliter le travail. Là-encore, ces contraintes institutionnelles se sont donc traduites par des contraintes temporelles puisque cet envoi a eu seulement lieu à la fin du mois de janvier 2011.

Mais, au-delà de ces aspects temporels, les liens entre notre recherche et certaines instances scolaires n’ont pas été sans effet sur l’enquête par entretiens elle-même. Sur ce point, le courrier du Président du HCE aux Recteurs a constitué à la fois une condition d’accès aux terrains d’investigation mais aussi une mise en exergue de l’ancrage institutionnel de la recherche et de sa dimension évaluative. Dès lors, nous pouvions apparaître aux yeux des enseignants et des autorités acadé-miques comme les représentants de l’organisme commanditaire, missionnés pour une démarche de contrôle des actions menées. Dans cette perspective, nous avions décidé de préciser à nos interlocuteurs que nous garantissions l’anonymat des participants à l’enquête 15 dans le rapport final : d’une part, en ne tirant pas de citations des entretiens (y compris de manière anonyme) et, d’autre part, en

15. Nous avons néanmoins remercié nominativement les participants à l’enquête qui en avaient accepté le principe dans les premières pages du rapport.

EN 46-3.indd 52 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


53

restant à un certain degré de généralité lorsque nous avons fait référence aux terrains d’enquête. Cela n’a toutefois pas empêché quelques manifestations de craintes ou résistances. Celles-ci se sont notamment exprimées à l’occasion des premières prises de contact et de la planification des entretiens : l’un des enjeux plus ou moins tacites touchait notamment à la possibilité laissée aux personnes sollicitées de ne pas participer à l’enquête. Une fois ces doutes levés, nous avons été néanmoins particulièrement bien accueillis dans les établissements scolaires et les académies où nous avons enquêté. La qualité de cet accueil peut proba-blement être mise en relation avec le besoin de faire reconnaître des projets peu valorisés par la hiérarchie ou de parler de situations professionnelles et de diffi-cultés spécifiques que nous avons ressenti sur le terrain.

Les entretiens ont d’ailleurs manifesté que l’objectif ou le thème de nos inves-tigations avaient été reconstruits par les individus et les équipes sollicités. Quelle que soit leur place dans le système scolaire, ces derniers avaient ainsi à l’esprit que nous étions plutôt dans une démarche d’évaluation que dans une démarche de recherche. Cela s’est aussi traduit par une relative difficulté à situer notre position-nement d’universitaires et de chercheurs par rapport à l’organisme comman-ditaire mais aussi par rapport à la hiérarchie scolaire. Il n’a donc pas toujours été simple pour nous de déceler la manière dont nos interlocuteurs avaient pu anticiper la finalité de l’interview ou les enjeux liés à la publication du rapport final. Cela a pu également générer quelques incompréhensions. Ainsi, quelques enseignants ou chefs d’établissement porteurs d’expérimentation pensaient que nous venions pour rendre compte de leurs actions en tant que telles et non dans une visée de recherche plus générale. Il n’a donc pas été simple encore de mettre au jour les différents « sujets » locuteurs que chacun d’eux pouvait endosser (e.g. ce qui était dit en tant qu’enseignant du secondaire expérimentateur et ce qui était dit en tant que « simple » enseignant ou en tant que citoyen, etc.).

Ce travail était néanmoins nécessaire pour progresser dans l’intelligibilité des diverses informations recueillies et reconstruire certains axes de cohérence des projets d’expérimentation et des expériences vécues par les équipes par rapport au type d’établissement, aux matières scolaires concernées, etc. Ce travail était également requis pour tenter de limiter ou d’identifier les non-dits, détecter ce qui pouvait être « à cacher » ou encore les « choses » naturalisées dans les situations d’entretiens.

Enfin, on peut s’interroger sur le statut que nous avons conféré aux informa-tions recueillies informellement dans la recherche (conversations, témoignages « spontanés », documents non sollicités transmis par un interlocuteur, etc.).

EN 46-3.indd 53 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


54

Cette question était d’autant plus vive que le contexte de notre recherche a pu favoriser ce type d’échange. La crainte de la hiérarchie, la suppression de classes ou de postes (avec notamment un appel à la grève en février 2011), ont ainsi pu conduire certains de nos interlocuteurs à préférer les relations non instituées comme situation de recueil de données. Nous avons pris en compte ici la force de l’intérêt de ce type d’informations afférentes pour la compréhension du contexte. En ce sens, ces informations ont nourri pleinement notre travail interprétatif sans que nous les inscrivions toutes explicitement dans les documents d’enquête soumis à des traitements méthodiques. Cela interroge donc plus largement les critères de construction et de validation des corpus de recherche (Delcambre & Lahanier-Reuter, 2003).

6. Des résultats… aux recommandationsCette recherche a permis de montrer que l’actualisation du dispositif article 34 par les équipes enseignantes et leurs partenaires, les responsables d’établissement, les services académiques dédiés aux expérimentations ou l’administration centrale manifestait une volonté certaine d’agir en direction des élèves et de surmonter des difficultés scolaires et pédagogiques. Notre enquête a cependant souligné que ces volontés d’agir se traduisaient par des modes d’appropriation et de mise en œuvre fort variables de l’article 34 au sein des différentes instances précitées : par exemple, les pratiques académiques divergent nettement quant aux processus d’impulsion, aux critères de sélection, à l’organisation du suivi et aux moyens attribués aux projets d’expérimentations. Plus largement, nous avons observé cette variabilité dans l’acception même de la notion « d’expérimentation » : consti-tuant ordinaire du métier d’enseignant en lien avec la capacité à innover spécifiée dans le référentiel de compétences des professeurs (au moment de l’enquête), moyen d’assouplir les fonctionnements scolaires classiques pour mieux aider les élèves, rouage privilégié d’une nouvelle forme de (dé)régulation scolaire par la différenciation de l’offre pédagogique des établissements… Cette hétérogénéité définitionnelle que F. Cros éclaire dans le cadre de ce dossier thématique, se retrouve plus prosaïquement dans la complexité voire l’impossibilité à connaître le nombre exact d’expérimentations liées à l’article 34, étant donné les variations conceptuelles, géographiques, temporelles des diverses listes qui les répertorient (listes académiques, base de données en ligne, listes des services du ministère…). Elle se retrouve également dans la diversité des objectifs fixés par les équipes à leur projet d’expérimentation bien qu’il s’agisse majoritairement de résoudre des

EN 46-3.indd 54 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


55

difficultés attribuées aux élèves (faiblesse du niveau, manque de motivation…). Nous soulignerons néanmoins un point de convergence entre tous les projets que nous avons étudiés et les enseignants que nous avons rencontrés : la nécessité d’un accompagnement et d’un soutien des expérimentateurs, notamment dans la construction des autoévaluations annuelles que réclame le dispositif article 34.

Par-delà ces résultats, qui sont exposés plus avant dans la contribution de Reuter et al. à ce dossier, il nous avait été classiquement demandé de conclure ce rapport par quelques recommandations « d’amélioration » du dispositif. Il nous semble essentiel de nous arrêter ici sur le « passage » des analyses aux recomman-dations : car, d’une part, ce « passage » est loin d’être évident et, d’autre part, on peut penser que les analyses guident autant les recommandations que les recom-mandations formatent les analyses (a minima dans leur écriture).

Le travail d’élaboration des recommandations est, en premier lieu, délicat en ce qu’il suppose d’assumer la dimension spéculative d’effets non évalués 16, voire non évaluables, par des recherches. En second lieu, parce que cette dimension spéculative ne peut, à notre sens, s’effectuer sans prendre en compte la dimension politique : ce que peuvent en faire les décideurs dans un contexte donné et consé-quemment, ce que nous souhaiterions et ne souhaitons absolument pas qu’ils fassent d’un tel travail. Dès lors, par exemple, au-delà des réserves auxquelles nous avaient amenés nos analyses quant à la mise en œuvre de l’article 34, il nous a semblé préférable de recommander le maintien de ce dispositif en tant qu’espace d’ouverture possible accompagné de suggestions de soutien aux initia-tives venant du terrain, de moyens supplémentaires et d’une véritable écoute des besoins des innovateurs plutôt que d’aller dans le sens d’une remise en question de ce dispositif.

Mais ce passage des analyses aux recommandations s’avère aussi complexe dans la mesure où de bonnes intentions, voire des nécessités, pourraient nuire à un équilibre fragile. On voit bien ainsi qu’il serait intéressant de pouvoir disposer d’évaluations plus précises des expérimentations comprenant, entre autres, des dimensions communes et des indicateurs objectivables. Mais on voit tout aussi bien comment cette demande pourrait devenir contre-productive et freiner la mise en œuvre de projets tant la dimension évaluative est mal vécue par nombre d’innovateurs (Ibid.). On voit tout autant comment cette dimension évaluative

16. Difficile par exemple d’anticiper les effets d’une recommandation touchant à la clarification des attentes ministérielles vis-à-vis du dispositif « article 34 » dès lors que ce flou institutionnel peut également offrir des marges de manœuvre aux acteurs…

EN 46-3.indd 55 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


56

est complexe à manier si on accepte que ces projets puissent engendrer des effets différents sur les multiples catégories d’acteurs engagées dans la mise en œuvre de ces actions et les multiples dimensions impliquées dans ces démarches…

Ce passage des analyses aux recommandations s’avère encore difficile pour une autre raison, celle des logiques de fonctionnements des acteurs aux diffé-rents niveaux de l’institution (ministère, académies, établissements…) qui font que ceux-ci ne se connaissent que très peu et ne se comprennent que très mal. Il nous semble ici que les recommandations sont difficiles à formuler en ce qu’elles impliquent une véritable volonté de changement des mentalités et des inves-tissements importants – en temps, en dispositifs… – pour arriver à cette inter-compréhension. Par exemple, que les membres de certains services du ministère, voire des cabinets du ministre, passent du temps sur le terrain à observer ce qui se passe et à entendre les acteurs sans poser a priori qu’il convient de porter la bonne parole à des gens peu disposés à évoluer.

7. Les usages de la rechercheIl nous reste à discuter les prolongements possibles à la diffusion du rapport de recherche. Cette question qui touche aux relations entre science et expertise a déjà fait couler beaucoup d’encre. Elle est cependant capitale, car comme nous l’avons montré, la construction de notre recherche a été rendue possible et contrainte par les finalités politiques et institutionnelles dans lesquelles elle s’inscrivait. Elle peut sans doute se traiter à partir de plusieurs entrées complé-mentaires : celle des acteurs ou institutions qui s’emparent de ce travail et celle de ce qu’ils en font et enfin celle des effets.

Concernant les acteurs et institutions qui s’emparent de ce travail, deux remarques nous paraissent s’imposer. En premier lieu, certains de ces acteurs sont connus, que ce soit directement (les membres du HCE) ou indirectement (le Ministre) ou se font connaitre (le Café Pédagogique, les Cahiers Pédagogiques, l’Observatoire des Zones Prioritaires), d’autres sont inconnus, et le resteront ou non ; en second lieu, certains de ces acteurs liront seulement la Note finale du HCE, d’autres seulement notre rapport, d’autres étudieront les deux, d’autres encore parcourront des dépêches s’en faisant l’écho, d’autres enfin en entendront parler de manière plus ou moins directe et cela dans un délai plus ou moins bref.

Concernant les usages effectués, on ne peut que constater, pour ceux qui sont connus, c’est-à-dire pour la partie émergée de l’iceberg, que le rapport va s’ins-crire dans d’autres cadres que ceux des auteurs, cadres propres aux acteurs et

EN 46-3.indd 56 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


57

aux institutions qui s’en emparent en fonction des principes et du fonction-nement qui leur sont propres. Telle une œuvre d’art ou, de fait, n’importe quelle œuvre sociale, le rapport échappe à ses concepteurs, à leurs intentions, aux significations qu’ils avaient voulu inscrire dans leur texte. Il échappe d’ailleurs selon diverses modalités. Par exemple 17, si le Haut Conseil écoute et questionne en séance plénière les auteurs du rapport quelque temps après sa remise, il ne discute pas avec eux des interprétations qui sont les siennes et des modifications qu’il pourrait lui faire subir. Étant donné sa mission, le fait que ce conseil n’ins-titue pas les conditions d’une véritable mise en dialogue des résultats est donc interrogeant. Ces modalités de travail du Haut Conseil nous avaient toutefois été précisées. Il était également prévu que cette recherche ne serait qu’une des sources utilisées 18 par le HCE en vue de produire sa Note au Ministre sur les expérimentations.

Ainsi, et pour ne prendre que quelques exemples, la Note du HCE, signi-ficativement plus courte, s’autonomise dans sa première partie totalement de notre rapport en présentant une interprétation de l’article 34, de son inscription dans l’histoire des dispositifs de l’Éducation Nationale et des intentions du légis-lateur, comme une vérité, sans discussion aucune et sans appui explicite sur des documents ou des témoignages.

Dans sa seconde partie, cette même Note prend très clairement appui sur le rapport final mais avec une écriture qui, selon nous, « aplatit » les éléments saillants ou les aspects critiques de celui-ci. Peu de choses sur la manière dont le DRDIE s’est emparé de cet article de loi, sur l’absence de continuité au sein du ministère, sur l’opacité des fonctionnements académiques, sur le manque de moyens, sur le déni de reconnaissance des acteurs, sur le peu de culture évaluative des services concernés… La Note tend encore à minorer le rôle des innovateurs

17. Par exemple encore, le rapport a été remis au commanditaire le 27 juin 2011, la date indi-quée de sa transmission est le 29 novembre, le rapport et la Note ont été mis en ligne sur le site du HCE le 20 décembre (date à laquelle nous avons été avertis de sa transmission) sans explication sur les raisons de tels délais. Nous n’avons également pas eu d’explication sur le choix du destinataire de cette Note (le Ministre et non le Président de la République et le Parlement), le choix de rédiger une Note sur les expérimentations et non un Bilan ou un Rapport tels que le HCE en produit régu-lièrement, ou encore le choix du HCE de diffuser faiblement et de peu promouvoir son écrit final.

18. Outre la recherche dont il est question dans cet article, la Note publiée par le HCE indique la liste des personnalités auditionnées (deux inspecteurs, une rectrice, un CARDIE et deux directeurs de l’administration centrale du ministère…) et des déplacements en groupe effectués dans deux collèges porteurs d’expérimentation par les membres du conseil.

EN 46-3.indd 57 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


58

de longue date et de la pédagogie, omet la dimension de révélateur des diffi-cultés scolaires ou sociales dont sont porteurs les projets déposés, ne soulève pas d’autres problèmes inquiétants pour l’école (par exemple, le fait que dans nombre de dossiers, le milieu social des élèves apparaisse comme un problème en soi)… Autant de points tout particulièrement mis en lumière par notre recherche.

Dans une logique de réécriture comparable, la Note du HCE reprend enfin dans sa troisième partie, certaines de nos recommandations, en en oubliant d’autres. Le Haut Conseil insiste en revanche sur ce qui lui tient à cœur et sur quoi nous n’avions avancé aucune recommandation, à savoir la nécessité d’une meilleure mise en place du Socle commun 19.

Concernant les effets liés à la diffusion du rapport, qu’on pourrait savamment catégoriser selon les dimensions qu’ils touchent, les acteurs ou les lieux, la plus ou moins grande rapidité de leurs effets…, force nous est de constater qu’on en ignore tout et qu’il faudra sans doute attendre quelques temps avant de les connaitre ou non. On peut néanmoins remarquer que l’équipe de recherche n’a pas été invitée à l’édition 2012 des Journées de l’innovation organisées par la DGESCO. Cela avait été partiellement le cas pour l’édition 2011. Nous avions en effet dû insister pour assister à l’ensemble des Journées malgré nos rencontres antérieures avec les responsables de ce service ministériel.

ConclusionCe retour sur une évaluation commanditée visait à réfléchir aux conditions du travail de recherche en éducation en donnant concrètement à voir les effets d’un ancrage institutionnel sur la méthodologie de la recherche, que ce soit dans les choix que nous avons opérés pour formaliser le projet, dans notre travail de construction et d’analyse des données d’enquête, dans l’écriture et l’usage du rapport final. Cet article souligne toute l’importance et la complexité du travail d’objectivation de ces difficultés méthodologiques (Reuter & Carra, 2005) en vue d’une actualisation de la démarche de recherche la plus raisonnée et féconde possible, néanmoins provisoire et discutable. Il n’en reste pas moins que l’équipe

19. Cette attention particulière du HCE pour le Socle commun tient sans doute en partie au fait que la Loi d’orientation et de programme pour l’avenir de l’école du 23 avril 2005 précise dans son article 9 que le HCE doit donner un avis sur les connaissances et compétences contenues dans le Socle.

EN 46-3.indd 58 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


59

de chercheurs a rencontré ici des problèmes peu résolubles. Ainsi, au-delà de la pression liée à l’échéancier contractualisé de remise des travaux, nous nous sommes trouvés aux prises avec des temporalités peu ajustées à celle de la recherche : à la fois sur le plan de la durée (e.g. délais de circulation adminis-trative de l’information) mais aussi de l’agenda politico-institutionnel (e.g. proposition d’un amendement de suppression du HCE à l’assemblée en janvier 2011, mission du Sénat sur les expérimentations en février 2011, publication d’autres rapports par le commanditaire en septembre 2011, renouvellement du Haut Conseil en 2012, etc.).

Mais, si le travail d’objectivation n’a pu neutraliser tous les effets de ces diffi-cultés dans et sur la méthodologie, il s’est néanmoins avéré un moyen efficace pour constituer quelques-unes de ces difficultés mêmes comme résultats intéres-sants pour une recherche sur le fonctionnement d’un dispositif institutionnel (e.g. l’absence de continuité dans les services ministériels ou académiques, l’accès complexe aux informations). À ce sujet, nous voudrions conclure en insistant sur deux points essentiels. Il nous semble tout d’abord que le choix initial de l’équipe de recherche a constitué une décision majeure qui a permis d’affermir la faisabilité des opérations de recherche mais aussi leur pertinence. L’équipe était en effet composée de cinq chercheurs qui se connaissaient tous mais ce groupe était entièrement nouveau : certains n’avaient jamais été réunis dans une même recherche, et si d’autres l’avaient déjà été, c’était au sein d’un groupe plus important. Cette nouveauté de l’équipe et le pari de l’entente humaine que cela suppose, peuvent être considérés comme un choix méthodologique, à même de constituer un ressort de la dynamique de recherche. En effet, les compé-tences particulières de chacun dans un nouvel environnement sont à percevoir : certes, elles sont connues ou tout du moins supposées, mais elles s’actualisent et se transforment durant la recherche et la survenue des difficultés. On mesure dans ce cas l’importance et l’intérêt de réunir un petit nombre de chercheurs ayant une certaine disponibilité au moment de la recherche et qui ont a priori une disposition d’écoute attentive. Non seulement cela va autoriser des actions plus rapides, mais cela va aussi permettre d’utiliser les ressources des domaines de compétences et les incompréhensions qui en résultent inéluctablement pour comprendre ses propres implicites.

Enfin, sans vouloir évoquer la diversité des persistantes questions de relations entre chercheurs et décideurs, entre démarches de recherche et expertises, nous souhaiterions simplement souligner ce qui prend aussi la forme d’un paradoxe pour nous. Les chercheurs sont sollicités en fonction de leurs compétences

EN 46-3.indd 59 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


60

postulées et ils sont, en quelque sorte, en position haute en début de parcours. Mais, de fait, ils vont se trouver dépossédés de ce travail en fin de parcours. Dès lors, quelle est leur marge de manœuvre ? Comment se positionner entre l’abs-tention (et ses risques 20) et l’intervention (et ses limites) ? C’est, nous en avons conscience, un problème très ancien, mais peut-être faut-il se donner les moyens de le repenser en tant que communauté, dans une période qui nous paraît, on ne peut plus critique…

Bibliographie

Cros F. De l’initiative à l’expérimentation : la longue vie du soutien à l’inno-vation. Les Sciences de l’éducation - Pour l’Ère nouvelle, 2013, vol. 46, n° 3, pp. 63-88.

Delcambre I. & Lahanier-Reuter D. Propositions pour une étude sur les méthodes de recherche en didactique. Les Cahiers Théodile, 2003, n° 4, pp. 123-142.

Demailly L. (Dir.). Évaluer les politiques éducatives. Sens, enjeux, pratiques. Bruxelles : De Boeck, 2001.

Genelot S. & Suchaut B. L’évaluation des innovations pédagogiques : quelles modalités de coopération entre les différents acteurs ? Mesure et évaluation en éducation, 2000, vol. 23, n° 1, pp. 23-42.

Haut Conseil de l’Éducation. Les expérimentations réalisées dans le cadre des projets d’école ou d’établissement, article 34 de la loi du 23 avril 2005. Note au Ministre. Paris : HCE, 2011.

Pons X. L’évaluation des politiques éducatives. Paris : PUF, 2011.

Reuter Y. & Carra C. Analyser un mode de travail pédagogique alternatif. Revue française de pédagogie, 2005, n° 153, pp. 39-53.

20. La tentation, qu’ont eue certains ministres de l’Éducation Nationale de se passer absolument de chercheurs comme experts, a eu des conséquences problématiques.

EN 46-3.indd 60 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


61

Reuter Y. (Dir.). Une école Freinet. Fonctionnements et effets d’une pédagogie alter-native en milieu populaire. Paris : L’Harmattan, 2007.

Reuter Y., Bart D., Boulanger L., Condette S. & Lahanier-Reuter D. Rapport sur les expérimentations liées à l’article 34 de la loi d’orientation et de programme pour l’École de 2005. Rapport remis au Haut Conseil de l’Édu-cation le 27 juin 2011, Université Lille 3, Théodile-CIREL, Villeneuve d’Ascq. Document consultable à l’adresse suivante : [http://www.hce.education.fr/gallery_files/site/21/117.pdf ] (consulté le 08 janvier 2012).

Reuter Y., Condette S. & Boulanger L. Les expérimentations « article 34 de la loi de 2005 ». Bilan et discussion d’une recherche. Les Sciences de l’éducation - Pour l’Ère nouvelle, 2013, vol. 46, n° 3, pp. 13-39.

Responding to an Institutional Assessment Commission: Methodological Problems in Research

Abstract: This paper sets out to give an account of research commissioned by the High Council of Education, namely an assessment of the effects of the promul-gation of Article 34 on the innovations and experimentations carried out in primary, middle and high schools. While the main results of the 2010-2011 research are exposed in another paper in this special issue, the present article focuses especially on the methodologies devised to respond to this institutional commission. By examining the tensions between the various means of commu-nication used by the different associated and commissioned institutions and by setting out clearly the problems encountered, the paper aims at contributing to the general considerations on the conditions of educational research, on the challenges it faces and on the diffusion of the established results.

Keywords: Research methods. Institutional commission. Assessment. Experi-mentation.

EN 46-3.indd 61 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen


62

Contestar a un encargo institucional de evaluación: algunos problemas de metodología de investigación

Resumen : En este artículo se informa sobre una investigación encargada por el Consejo Superior de Educación sobre la evaluación de los efectos de la promulgación del artículo 34 de las innovaciones y experimentaciones en las escuelas, colegios y escuelas secundarias. Mientras que otro artículo de este número presenta las principales conclusiones de esta investigación realizada en 2010-2011, nuestro artículo está más centrado en las metodologías desarrolladas para cumplir con este pedido institucional. Al hablar de las tensiones entre los modos de comunicación de las organizaciones participantes y patrocina-dores, revelando de forma clara los problemas encontrados, ese artículo permite contribuir a la reflexión sobre las condiciones de la investigación educativa, los obstáculos con los que tiene que enfrentarse y la difusión de los resultados que establece.

Palabras claves : Métodos de investigación. Encargo institucional. Evaluación. Experimentationes.

Daniel Bart, Dominique Lahanier-Reuter et Yves Reuter. Répondre à une demande institutionnelle d’évaluation : quelques problèmes de méthodologie de recherche. Les Sciences de l’éducation - Pour l’Ère nouvelle, vol. 46, n° 3, 2013, pp. 41-62. ISSN 0755-9593. ISBN 978-2-918337-16-4.

EN 46-3.indd 62 26/09/13 09:17

Doc

umen

t tél

écha

rgé

depu

is w

ww

.cai

rn.in

fo -

Uni

vers

ity o

f Gro

ning

en -

-

129.

125.

6.1

- 08

/05/

2014

13h

50. ©

CE

RS

E -

Uni

vers

ité d

e C

aen

Docum


w.cairn.info - U


CE

RS

E - U

niversité de Caen

Documents

Répondre à une demande institutionnelle d'évaluation : quelques problèmes de méthodologie de recherche