Ch15 Depover Et Al Recherche Evaluative(1)

SO

MM

AI

RE

CHAPITRE

9

Rsum

Introduction

1. Peut-on concilier recherche et valuation ?

2. Les formes de recherche valuative

3. Validit et complmentarit des approches en matire de recherche valuative

4. La recherche valuative oriente vers la conception (design based research)

5. La recherche valuative oriente vers la prise de dcision

Conclusion

Activits dappropriation

Concepts importants

Lectures complmentaires

Christian DepoverUniversit de Mons-Hainaut (Belgique)

Thierry KarsentiUniversit de Montral

Vassilis KomisUniversit de Patras (Grce)

La recherche valuative

Chapitre 9204

IntroductionComme le fait remarquer Pinch (2009), la recherche valuative doit occuper une place importante parmi les formes de recherches susceptibles dtre mobilises en ducation. En effet, contrairement dautres domaines scien tifiques qui se consacrent surtout la description des phnomnes, lducation est avant tout une science de laction. Or, une action, pour tre efficace et se donner un maximum de chances datteindre son but, doit tre rgule. Cette rgulation exige le recours lvaluation sous diffrentes formes.

Lorsque lvaluation comme moyen damliorer laction est mene dune manire systmatique partir de donnes empiriques, certains auteurs comme Patton (1990) ou Jones (2000) parlent de recherche va-luative, ou encore de recherche dvaluation. Toutefois, pour consid-rer quil sagit dun processus de recherche au sens strict, il convient dajouter une seconde condition, savoir que les techniques mises en uvre conduisent galement la production de nouvelles connaissances susceptibles denrichir, de complter, de nuancer ce que lon sait propos dun domaine.

Place dans cette double perspective de rigueur et de production de con-naissances, lvaluation peut, comme nous allons tenter de le montrer dans ce texte, tre considre comme une mthode de recherche part entire.

1 PEUT-ON CONCILIER RECHERCHE ET VALUATION ?

Entre les processus mis en uvre en matire de recherche et dvaluation, il existe un grand nombre de similitudes, notamment en matire de rcolte

Rsum

Ce texte prsente la recherche valuative comme un mode de recherche

part entire, notamment lorsquelle est place dans une double pers-

pective de rigueur et de production de connaissances. Il a galement

pour objet de dmarquer la recherche valuative par rapport certaines

formes dvaluation. Deux modalits de recherche valuative sont dis-

tingues. La premire est oriente vers lamlioration dun programme

ou dun dispositif alors que la seconde vise plutt gnraliser ou

poursuivre un programme mis en place.

La recherche valuative 205

et de traitement des informations ainsi que dinterprtation des rsultats. Sur ces aspects, la diffrence est surtout une question dapprciation personnelle. Ainsi, on se montrera gnralement plus exigeant quant la qualit des don-nes, la fiabilit des outils utiliss, la rigueur de linterprtation lorsquon aura choisi de sinscrire dans un processus de recherche plutt quun autre. Une diffrence plus fondamentale apparat toutefois lorsquon sintresse aux rsultats produits, puisque, pour considrer quil sagit de recherche au sens plein du terme, il faut que le processus mis en uvre conduise la production de nouvelles connaissances qui puissent tre considres comme originales. Pour satisfaire cette dernire exigence, il est particulirement important que la recherche valuative sappuie sur une analyse approfondie de la litt rature et que, sur cette base, soient formules des questions de recherche prcises et dtailles, ce qui est plus rarement le cas en matire dvaluation.

La production de rsultats originaux qui caractrise la recherche va sou-vent de pair avec la libert laisse au chercheur de choisir ses orientations de recherche. Or, en matire de recherche valuative, cette libert peut tre entra-ve par le fait que souvent cette forme de recherche rpond une commande et que, ds lors, le choix des questions auxquelles elle sintressera risque dtre, plus ou moins profondment, inflchi par la demande de lorganisme qui financera les travaux.

Le fait que la recherche soit mene en rponse une commande, plus ou moins explicite, soulve dautres difficults, notamment lies au calendrier dexcution. En effet, une recherche valuative commandite par une autorit se voit oblige de fournir une rponse dans un dlai plutt bref, de manire que le commanditaire puisse prendre une dcision lchance fixe, par exemple gnraliser certaines pratiques, poursuivre une mise lessai, adop-ter de nouveaux outils, etc. Or, un calendrier de recherche sinscrit plutt dans le moyen, voire le long terme, car la production de connaissances origi-nales comporte une part dalas qui saccommode fort mal dun calendrier trop rigide.

Le rapprochement entre recherche et valuation, que lon observe locca-sion de la recherche valuative, permet dinscrire la recherche dans laction. En effet, les recherches servent souvent clairer une problmatique, mieux comprendre un phnomne ou dmontrer lefficacit dune mthode, mais elles naboutissent que rarement une dcision qui influe directement sur les pratiques ducatives. En matire de recherche valuative, au contraire, il existe souvent un lien troit entre lobjet de la recherche et la dcision prendre. Ce lien est assez vident lorsquil sagit dune recherche faisant suite une demande externe, mais cest aussi le cas, comme nous le montrerons, lorsque la recherche rpond au choix dune quipe de dveloppement dassocier une valuation systmatique la conception dun nouvel outil ou dun nouveau programme. Lorsquil sagit dlaborer des outils et des programmes, la recherche valuative

kamelTexte surlign

kamelTexte surlign

kamelTexte surlign

kamelTexte surlign

206

ne peut se limiter apprcier globalement leur efficacit ou leur pertinence, elle doit sattacher, chacune des tapes de leur laboration, fournir les infor-mations qui permettront dclairer les dcisions de lquipe de conception.

Ce lien entre recherche et action conduit, parfois, voquer le terme de recherche applique propos de la recherche valuative. Parler de recherche applique amne distinguer ce type de recherche dautres formes qui seraient caractre plus fondamental, avec le risque de faire prdominer la premire sur les autres, du fait quil est gnralement plus facile de susciter une mobi-lisation pour des projets qui apporteront des rponses court terme aux pro-blmes imminents dordre ducatif que pour des projets long terme aux rsultats parfois plus incertains.

Cest ainsi quon observe, au grand regret de certains chercheurs qui y voient une forme de limitation de leur autonomie, une tendance de plus en plus affirme de la part des agences de financement (UNESCO, Banque Mondiale, ACDI, etc.) privilgier la recherche applique et notamment la recherche valuative plutt dautres formes de recherche qui valoriseraient davantage la libert, la crativit et surtout lindpendance du chercheur.

2 LES FORMES DE RECHERCHE VALUATIVE

2.1

La recherche !valuative visant " am!liorer un programme ou un dispositif (orient!e vers la conception)

Cette forme de recherche seffectue gnralement durant laction afin de permettre un meilleur ajustement aux buts recherchs. Elle fait appel des personnes externes la conception et lexcution de laction, mais peut aussi mobiliser des acteurs qui prennent une part active dans laction.

Lorsque la recherche valuative concerne la mise au point doutils ou de programmes, on parle gnralement de recherche conception (design research). Il peut sagir, par exemple, de complter llaboration dun logiciel ducatif par une srie de mises lessai rigoureuses dont les rsultats auront pour effet dinflchir la mise au point de loutil et daccrotre les chances dabou-tir un produit qui satisfasse les diffrentes parties concernes.

En matire de programme, on peut sintresser la mise au point dune mthodologie denseignement particulire, mais aussi des interventions orientation sociale ou sanitaire visant, par exemple, rduire la propagation du VIH/SIDA par une campagne dducation bien cible. La recherche va-luative qui vise llaboration de programmes sinscrit gnralement dans

kamelTexte surlign

207

le cadre dune politique publique plus globale, comme rduire lchec sco-laire, pour le premier exemple, ou amliorer laccs aux soins prventifs, pour le second.

la suite de Brown (1992), un certain nombre de chercheurs sintres-sant essentiellement lenseignement des sciences ont utilis lexpression design research pour caractriser une approche de recherche qui consiste soutenir la mise au point de dispositifs pdagogiques par des prises dinfor-mations systmatiques. Comme le rappellent Collins et coll. (2004), le but de la recherche centre sur le design est damliorer la manire dont un disposi-tif fonctionne dans la ralit (plutt quen laboratoire) et, lorsquun problme apparat, danalyser son origine pour remdier aux problmes dans le cadre dun processus de raffinement continu.

2.2

La recherche !valuative visant " valider un programme ou un dispositif (orient!e vers la d!cision)

Il sagit dune forme de recherche qui survient ncessairement la fin de laction ou une fois le dispositif termin et qui est gnralement confie une personne ou une organisation externe qui nest pas directement engage dans llaboration de laction ou du dispositif.

La recherche valuative de ce type rpond gnralement une com-mande des autorits et est donc directement lie aux questions quelles se posent un moment dtermin ou aux dcisions quelles seront amenes prendre court terme.

Elle dpend souvent denjeux politiques, en particulier lorsque les rsul-tats de la recherche contribuent fonder une dcision qui peut avoir un impact sur les orientations en matire de politique ducative lchelle locale, rgionale ou nationale. Cest le cas notamment lorsquil sagit de valider une nouvelle approche pdagogique sur la base dun chantillon dtablissements avant de gnraliser la rforme lensemble du territoire national.

Ainsi, certaines recherches valuatives pourraient, par exemple, contri-buer orienter une politique en fournissant des informations importantes pour dterminer quels programmes mriteraient dtre soutenus. Toute fois, comme le soulignent pertinemment Cronbach et coll. (1981), la vritable mission de lvaluation nest pas de dcider la place des autorits, mais plutt dclairer et dinformer tous les citoyens dans le cadre dun processus dmocratique de prise de dcision.

La recherche valuative peut aussi porter sur la comparaison entre plu-sieurs modalits de mise en uvre dune action, comme lorsquil sagit de choi-sir entre deux mthodes dapprentissage de la lecture celle dont il est prf rable de prconiser lusage auprs des enseignants de premire anne primaire.

Chapitre 9208

3

VALIDIT ET COMPLMENTARIT DES APPROCHES EN MATIRE DE RECHERCHE VALUATIVE

La recherche valuative mobilise aussi bien des mthodologies qualitatives centres sur la comprhension en profondeur des phnomnes (approche inductive) que des mthodologies quantitatives orientes vers la mise en vidence de relations de causalit (approche dductive). Pour Pinch (2009, p. 393), il est ncessaire de considrer une varit de modles, dapproches, de mthodologies et de sources de donnes , et ce, en fonction des objectifs de la recherche valuative mene. Pour voquer les qualits attendues de la recherche valuative, nous serons donc amens faire rfrence ces deux mthodologies.

Le contrle de la validit dans une recherche quantitative fait appel des procdures bien connues et largement traites dans le prsent ouvrage (voir le chapitre 7). Tout dabord, dans le cas particulier de telles recherches va-luatives, il sagit dassurer les conditions qui permettront dattribuer la causa-lit des phnomnes aux variables indpendantes mises en vidence dans le plan exprimental. Ainsi, si lon veut tablir que la disponibilit des manuels scolaires amliore les performances dapprentissage, il faut tre certain quau-cune autre cause ne peut expliquer ces rsultats. Pour obtenir cette certitude, il convient dtre attentif la reprsentativit des chantillons constitus et la pertinence du plan exprimental adopt.

Rappelons que la manire dtablir la validit dune recherche est assez diffrente dans une mthodologie qualitative (voir Patton, 2002) puisque, dans le cadre de celle-ci, il ne sagit plus de manipuler la situation conform-ment un plan exprimental dfini, mais dapprhender la dynamique des vnements et de mettre en vidence leur intentionnalit partir dobserva-tions effectues le plus souvent en contexte naturel.

Pour cette raison, la recherche qualitative (voir le chapitre 6) insistera, pour tablir la validit de ses rsultats, sur des critres comme lhonntet, la richesse et la profondeur des donnes rcoltes, ou encore elle mettra en avant limportance de la triangulation des informations prleves sur le terrain. Il nen demeure pas moins, comme lindiquent Patton (2002) ou encore Pinch (2009, p. 393), que les chercheurs en ducation se doivent dtre plus ouverts la recherche qualitative et aux techniques de collecte et danalyse de donnes qui les sous-tendent .

Des auteurs comme Gorard et Taylor (2004) insistent sur lintrt, en matire de recherche ducative, de combiner les approches en recourant au principe de la triangulation mthodologique afin darticuler recherches

kamelTexte surlign


quantitatives et qualitatives. Dans une approche de ce type, on ne se conten-tera pas, pour tudier un phnomne, de mobiliser la fois des donnes quali tatives et quantitatives, mais on sefforcera de croiser les mthodologies en injectant notamment des lments propres la recherche qualitative, comme la comprhension en profondeur des phnomnes la faveur de prises dinformations multiples, dans un dispositif exprimental bas sur la comparaison de plusieurs groupes.

Dans un souci dapprhension la plus complte possible du phnomne tudi, on peut galement faire intervenir dautres formes de triangulation en recherche valuative, comme la triangulation des observateurs. Celle-ci consiste utiliser plusieurs chercheurs qui interviennent de manire indpendante pour observer ou analyser une situation, un contexte ou un phnomne particuliers.

Cohen et coll. (2007) parlent de triangulation spatiale en recherche va-luative pour dsigner une approche qui permet de dpasser les tudes menes uniquement dans un contexte ou une culture particuliers en diversifiant les lieux de prise dinformation. Cette forme de triangulation est mise en uvre notamment dans le cadre des tudes transculturelles ou encore loccasion dune mthodologie dinvestigation propose par Miles et Huberman (2003) sous le nom danalyse inters-sites, sur laquelle nous reviendrons plus loin dans ce texte.

La triangulation temporelle en recherche valuative, pour sa part, consiste prendre en compte lvolution dun phnomne, lie notamment la matura-tion des sujets par des prises dinformations rptes et plus ou moins distantes dans le temps (tudes longitudinales).

Dune manire gnrale, la triangulation dans la recherche valuative repose sur lide dutiliser plusieurs mthodes de collecte de donnes pour tudier un phnomne afin de le saisir dans toute sa richesse et sa complexit, mais cest aussi un moyen damliorer la validit interne dune recherche qua-litative en confrontant les donnes issues de plusieurs sources. Par exemple, une tude sur lopinion des enseignants propos dune rforme peut donner lieu une enqute au moyen dun questionnaire crit dont les rsultats seront confirms et complts par une srie dentrevues. Des donnes issues de lobservation du comportement des lves peuvent tre confrontes avec celles issues dentretiens semi-directifs, etc.

Une difficult inhrente la recherche valuative est lie au fait que le recours une mthode dinvestigation particulire peut conduire le cher-cheur se construire une reprsentation particulire du phnomne ltude. Cest comme si la mthode jouait un rle de filtre travers lequel lobjet dtude tait examin. Comme le rappelle Lin (1976), le chercheur doit sassu-rer que les donnes rassembles ne sont pas de simples artefacts de la mthode dinvestigation employe.

Chapitre 9210

Le fait dutiliser plusieurs mthodes dinvestigation et de montrer que ces mthodes conduisent des donnes qui convergent dans lexplication dun phnomne permet de se prmunir contre ce type de distorsion de la ralit.

4

LA RECHERCHE VALUATIVE ORIENTE VERS LA CONCEPTION (DESIGN BASED RESEARCH)

Cette forme de recherche sintresse la mise au point de programmes ou de dispositifs pdagogiques dans le cadre dun processus itratif o alternent conception, dveloppement et prise de mesure sur le terrain, de manire assurer le meilleur ajustement possible de ces programmes ou de ces outils aux besoins des bnficiaires. Une telle approche est fort populaire dans les milieux proccups par la mise au point denvironnements dappren-tissage qui exploitent les TIC, mais aussi par llaboration de programmes dintervention caractre social ou pdagogique.

titre dillustration, nous prsenterons succinctement un modle de design pdagogique sur la base duquel nous travaillons depuis une dizaine dannes dans le cadre de la conception denvironnements dapprentissage exploitant les TIC (Depover et Marchand, 2002). Ce modle, qui est de type sriel, en ce sens quil dcompose le processus de conception dun environ-nement dapprentissage en une srie dtapes strictement dfinies, prvoit des prises dinformation systmatiques lissue de chacune des tapes du processus. Ces prises dinformation font appel des mthodologies dtermi-nes dont le choix est fonction de la dcision prendre un moment fix. Ainsi, lissue de la phase de mise au point de linterface, on entreprendra des tudes de terrain pour valider la pertinence ergonomique de loutil en organisant des mises lessai sur la base dun chantillon de sujets issu de la population cible. Au moment du choix de certaines stratgies pdagogiques, on validera ce choix non seulement auprs dexperts, mais aussi en analysant les ractions de certains groupes dapprenants. Lorsquune partie significative du dispositif aura t mise au point, on appliquera des preuves permettant deffectuer des mesures defficacit pdagogique.

En rfrence ce modle, nous mettrons en vidence deux lments qui constituent, selon nous, des traits caractristiques dune approche de type recherche valuative. Dune part, le fait de procder des mesures rptes tout au long du processus dlaboration et, dautre part, lutilisation des infor-mations issues de ces mesures pour inflchir le processus dlaboration. Ainsi, contrairement ce qui a longtemps t pratiqu en matire de design pdagogique, il ne sagit pas dattendre que le processus de production soit


arriv son terme pour confronter les produits au terrain, mais dinclure la prise de mesure au sein mme du processus dlaboration. Pour attirer latten-tion sur limportance de la prise en compte des ractions ou des opinions des bnficiaires, on parle souvent ce propos de design incrmental, de manire souligner que chaque tape sappuie sur les prcdentes, mais aussi, qu chaque tape, lensemble du processus peut tre remis en cause en fonction des rsultats des essais effectus.

Une autre question importante qui dcoule directement du design des environnements dapprentissage est celle de leur implantation dans diff-rents contextes dapprentissage. Mme si on a pris soin de tenir compte des ractions du public tout au long de la mise au point dun dispositif et que son efficacit pdagogique a t tablie dans un contexte particulier, il nest pas pour autant certain que celui-ci sera bien accueilli au-del du contexte qui lui a donn naissance.

cet gard, lanalyse inter-sites propose par Miles et Huberman (2003) peut utilement tre mobilise en vue dtendre dautres contextes la porte des observations qui ont t le plus souvent effectues partir dun site dtude particulier.Parmi les variables prendre en compte au moment du passage dun site particulier dautres sites choisis afin de mieux reprsenter les diff-rents contextes dapplication de loutil, il importe particulirement de consi-drer les difficults dues au phnomne de rsistance linnovation. En matire de rsistance au changement, Huberman, dans un ouvrage publi par lUnesco en 1974, dnombre plus de vingt sources de rsistance, parmi lesquelles figurent, par ordre dimportance, linsuffisance de matriel, le manque de prparation des enseignants et la difficult pour les acteurs de terrain de percevoir les avantages rels de linnovation propose.

Collins et coll. (2004) insistent galement sur limportance de prises dinfor-mations multiples dans une recherche oriente vers le design. Ainsi, ils dis-tinguent trois catgories de variables par rapport auxquelles ils estiment important deffectuer des mesures : les variables de climat (motivation, enga-gement personnel, coopration), les variables dapprentissage (acquisi-tions, stratgies cognitives et mtacognitives) et les variables systmiques (soutien, stratgies de diffusion et dadoption, cots). Pour chacune de ces catgories de variables, des outils de mesures particuliers seront mobili-ss, comme les outils dobservation (grilles, enregistrements vido) pour les variables de climat, les tests de rendement scolaire pour les acquisitions et les interviews ou les enqutes pour les variables systmiques. Pour ces auteurs, la prise dinformations par rapport aux variables systmiques est particuli-rement importante, car ltude dun dispositif se fait toujours par rapport un contexte dimplantation particulier, et le fait davoir prouv lefficacit dun dispositif dans un contexte dtermin ne garantit en rien celle-ci dans un autre contexte.

212

Pour ce qui est de la mise au point de programmes dintervention, lapproche incrmentale que nous venons de dcrire est galement appli-cable, dans la mesure o la conception ainsi que limplmentation du pro-gramme respectent un certain nombre dtapes strictement dfinies et que les personnes qui prennent part la dmarche de recherche valuative sont mobilises ds les phases initiales du projet. Dans le cas contraire, ce sera plutt en termes de recherche valuative oriente vers la prise de dcision quil sagira denvisager lanalyse des programmes dintervention.

En matire de recherche valuative oriente vers le design, le risque est grand de privilgier lvaluation et de ngliger la recherche. En effet, ce qui justifie la prise dinformations tout au long de llaboration dun outil ou dune mthode particulire, cest avant tout la possibilit dajuster de manire continue le processus de conception et de production. Pour souligner lim-portance de cet aspect, on parle aussi dvaluation formative, afin de carac-triser cette forme dvaluation. Rien dtonnant, ds lors, quon puisse tre tent, loccasion dun processus de ce type, de faire lconomie dune rflexion qui permettrait dinscrire les informations recueillies dans une dmarche de recherche plus globale en faisant appel un cadre conceptuel et des questions de recherche susceptibles de conduire la production de rsultats originaux.

5 LA RECHERCHE VALUATIVE ORIENTE VERS LA PRISE DE DCISION

5.1

Une forme de recherche en phase avec la prise de d!cision

Comme nous lavons dj vu prcdemment, cette forme de recherche peut, dans certains contextes, reposer sur une dmarche quantitative et mettre en uvre un dispositif exprimental plus ou moins complexe, mme si cette approche nexclut pas que des donnes de nature qualitative puissent tre mises contribution.

Certains travaux actuellement en cours, qui portent sur le choix des poli-tiques les plus efficaces en matire daide au dveloppement, nous paraissent tre des exemples intressants qui illustrent parfaitement lintrt port ce type dapproche en matire de recherche, mais aussi daide la dcision. En quelques mots, il sagit de choisir entre diffrentes stratgies dinvestisse-ment dans le secteur de lducation. Est-ce que le fait damliorer laccs certaines ressources comme les manuels et les tableaux ou daccrotre la proportion des enseignants amliore les performances scolaires ? Si oui, dans

213

quelle mesure ? Certaines de ces recherches peuvent conduire des rsultats surprenants, parfois mme contraires ce quon a toujours tenu pour acquis en ducation. Ainsi, selon des donnes rapportes par Banerjee et Duflo (2009), le fait daugmenter la proportion des manuels scolaires jusqu un pour deux lves ne modifie pas les rsultats scolaires, non plus que le fait damliorer de manire substantielle le ratio matre-lves. Par contre, la mise sur pied, au Kenya, dun programme de sant publique portant sur le traitement des vers intestinaux a permis de rduire labsentisme scolaire de 25 %, alors que leffet de lengagement dun matre supplmentaire, ce qui reprsentait un cot beaucoup plus important, a eu un effet bien moindre sur la participation scolaire. videmment, il est important de faire appel aux dmarches de la recherche qualitative pour la fois nuancer et contextualiser de tels rsultats.

A contrario, certains usages des technologies en classe, comme le recours au langage LOGO, ont progressivement disparu, faute davoir pu dmontrer leur efficacit pdagogique. Louvrage clbre de Cuban (2001), Oversold and Underused, tmoigne de manire remarquable de cette dsillusion due la difficult de mettre en vidence lefficacit de certains outils ou de certaines approches pdagogiques mobilisant les TIC.

Les rsultats de ce genre vont parfois lencontre des croyances intui-tives en mettant au jour les rpercussions que labsence de rsultats positifs peut avoir sur le maintien de certains usages, voire limplantation de nouvelles mthodes. Ces rsultats qui nous amnent nous interroger montrent selon nous encore la ncessit dprouver, par des recherches valuatives faisant appel de multiples mthodologies (qualitatives et quantitatives), le bien-fond des changements que nous envisageons dapporter au fonctionnement de lcole, et ce, avant de les gnraliser lensemble des classes susceptibles den bnficier.

5.2 Comparer les performances de plusieurs groupes pour tenter d!tablir des relations causales

Une autre approche utile pour apprcier lefficacit dune action ou dun dis-positif pdagogique consiste recourir une mesure avant-aprs, en dautres termes, appliquer une preuve dvaluation de la performance scolaire avant (prtest) et aprs (post-test) lapplication dun traitement pdagogique donn (voir le chapitre 7). La mise en vidence de relations causales, qui constitue une des caractristiques importantes de la recherche quantitative, procde selon une approche dductive sur la base dhypothses ou de ques-tions de recherche. Cette forme de recherche fait galement appel la notion de plan exprimental, cest--dire une manipulation plus ou moins complexe de la situation partir de laquelle les mesures avant-aprs seront effectues.

214

En effet, pour crer les conditions permettant dtablir lexistence dune rela-tion de causalit entre une variable indpendante (le traitement appliqu) et une variable dpendante (les rsultats observs), il est ncessaire de compa-rer les performances enregistres par diffrents groupes dlves.

5.3 La mesure des effets des programmes et des politiques

Lun des principaux freins lvaluation objective de politiques ou de pro-grammes rside dans la difficult de prciser, voire de quantifier les effets qui y sont associs. Par exemple, la plupart des politiques en matire daide au dveloppement visent dune manire ou dune autre lutter contre la pau-vret et amliorer le bien-tre des populations. Un tel objectif fait aisment consensus sur le plan international, mais que signifie-t-il concrtement et surtout comment peut-on vrifier sil est effectivement atteint ? Pour pouvoir tre value, une politique doit tre dfinie en objectifs clairs et dcline en indicateurs de suivi qui soient suffisamment mesurables. Cest sur cette base quun programme dtermin pourra tre mis en uvre et que son impact possible pourrait tre rellement apprci.

Les effets dun programme, lorsque les variables considrer sont com-plexes ou que leur nombre est important, doivent tre valus au moyen de mthodologies de recherche la fois qualitatives et quantitatives.

5.4

Une approche plus qualitative bas!e sur limplication des acteurs

Une approche propose dans les annes 1990 par Fetterman et ses collabora-teurs (Fetterman et coll., 1996) insiste sur la valeur mancipatrice (empowerment) des procdures de recherche-valuation mises en uvre. Pour Fetterman (2001), lvaluation mancipatrice est conue pour aider les personnes amliorer les programmes auxquels elles participent en mettant en uvre une sorte dautovaluation (p. 81). Il sagit de comprendre ce qui se passe dans une situation donne partir de la perspective des participants.

cette fin, Fetterman (2001) dcrit trois tapes. La premire consiste demander aux personnes prenant part un programme de dfinir leur propre vision de ce programme avec le soutien dun spcialiste de lvaluation. Cette phase se termine habituellement par un atelier o les diffrentes visions sont mises en vidence. La deuxime tape consiste dcrire les activits mener dans le cadre du programme et les classer par ordre de priorit lors dune activit de groupe. Enfin, la troisime tape consiste engager le groupe dans un processus de recherche-valuation bas sur lautorflexion et la construction dune reprsentation commune. Ainsi, selon Fetterman, le groupe sorganise progressivement sous la forme dune communaut de pratiques qui partage

215

un certain nombre de rgles et de valeurs en vue dune tche mener en commun. Les personnes qui constituent cette communaut intgrent la logique de lvaluation en menant bien leur propre valuation en suivant un processus dcrit par Patton (1997) comme une immersion.

Il est clair que, place dans une telle perspective, la recherche valuative dpasse le cadre dune approche purement diagnostique prparant la prise de dcision, mais intgre aussi la possibilit dagir sur la situation. Par exemple, dans un projet dducation sanitaire, le fait dengager les participants dans une rflexion par rapport au programme conduit une amlioration de leurs connaissances dans le domaine et les rend plus critiques vis--vis des pro-grammes qui leur seront proposs par la suite. Par rapport cet aspect, cette forme de recherche valuative sapparente une recherche-action dont les effets porteraient en priorit sur les acteurs plutt que sur dautres composantes du dispositif.

Certains chercheurs comme Wandersman (2005) inscrivent plus rsolu-ment lvaluation mancipatrice dans une perspective de recherche-action en insistant sur le fait que ses effets peuvent non seulement concerner les per-sonnes, mais aussi les programmes ou les organisations qui ont part. Ainsi, Miller et Lennie (2005) montrent, travers lanalyse dun programme sou-tenu par la Croix-Rouge australienne, que lapproche mancipatrice a permis damliorer globalement la qualit du programme ainsi que sa durabilit long terme.

5.5

Pour conclure " propos de la recherche !valuative orient!e vers la prise de d!cision

Mme si les principes dcrits dans les sections prcdentes peuvent paratre complexes et parfois lourds mettre en uvre, ils sont les seuls garantir des conclusions valides. Quon opte pour une approche base sur des plans exp-rimentaux, quon privilgie limplication des acteurs, ou encore quon com-bine les approches quantitative et qualitative, il est essentiel de respecter les principes mthodologiques propres chacune des approches.

Lorsquon hsite se lancer dans une recherche qui risque de savrer onreuse, il faut avoir lesprit les consquences ngatives (en matire de cots, mais aussi de capital humain) des rformes injustifies ou de laban-don de rformes qui auraient pu conduire des progrs considrables pour lensemble de la nation.

Beaucoup de pays dans le monde mettent en uvre des rformes ou lont dj fait pour les harmoniser avec une approche par comptences, mais trs peu dentre eux ont eu la prudence de mettre ces rformes lessai et de contrler rigoureusement les rsultats de ces mises lessai. Aujourdhui, on commence percevoir les consquences de cette ngligence, qui se traduit,

Chapitre 9216

chez certains, par une remise en cause globale de leur systme ducatif et, chez dautres, par un repli frileux sur des approches trs classiques qui ont le mrite de rassurer les enseignants et les parents. Pour les autorits respon-sables de lducation, cest souvent difficile de rsister aux modes du moment et de prendre le temps de la rflexion et surtout de la mise lessai, au risque de rater le train de la nouveaut et de linnovation.

Dans le chef du chercheur, le principal cueil viter par rapport ce genre de recherche qui rpond gnralement une commande externe, cest daccepter, consciemment ou non, lide que la recherche puisse tre au ser-vice des autorits et de se plier ainsi trop facilement aux contraintes quelles imposent aux quipes de recherche : chanciers draisonnables, restrictions sur le choix des mthodologies ou, plus grave, pressions pour que les conclu-sions aillent dans le sens attendu par les autorits. Quand on sengage dans une recherche valuative de ce type, il faut tre arm pour rsister des pres-sions multiples manant des parties en prsence, mais aussi tre capable de rdiger un rapport qui ne froissera pas exagrment les susceptibilits de certains sans pour autant masquer une ralit que tous ne sont pas toujours prts accepter.

ConclusionDans ce chapitre, nous avons essay de montrer que la recherche valua-tive nest pas une recherche au rabais, mais que, bien au contraire, si le chercheur sefforce de mettre en uvre des mthodologies rigoureuses quelles soient de nature qualitative, quantitative ou mixte et sil se mnage un espace de libert et dautonomie suffisant pour exprimer sa crativit, cette forme de recherche peut conduire faire avancer de manire apprciable la comprhension des phnomnes ducatifs.

Toutefois, pour donner ce type dapproche son statut de recherche part entire, il est essentiel pour le chercheur de respecter un certain nombre de principes qui garantissent non seulement la validit des rsul-tats quil produira, mais aussi leur honntet et leur probit.

Plus particulirement, lorsquil sagit dune recherche qui rpond une commande et fournit des lments utiles une prise de dcision, la tentation pour certains dorienter les rsultats risque denlever toute valeur cette forme dinvestigation. Mme si elles concernent la recherche en gnral, les questions dthique professionnelle occupent une place particulire en matire de recherche valuative. Sil est vrai que toute vrit nest pas toujours bonne dire, il est difficilement acceptable pour un chercheur de ne pas rendre compte, publiquement ou non, des rsul-tats quune dmarche rigoureuse de recherche a mis en vidence. Si une certaine latitude existe pour le chercheur, cest seulement ltape de linterprtation des donnes, loccasion de laquelle la responsabilit lui incombera de donner plus ou moins de poids certains aspects.


Cest aussi au chercheur destimer dans quelle mesure il accepte dtre contraint dans sa libert dexpression. Ainsi, il nest pas rare que certains commanditaires assortissent leur financement dune clause de confiden-tialit qui empche ou limite la diffusion des rsultats par le chercheur mandat. Si ces clauses sont bien dfinies au dpart, ce sera au chercheur de dcider si la commande est compatible avec lide quil se fait de sa libert universitaire ainsi quavec les rgles en vigueur dans son institu-tion. Par contre, si rien na t dfini au dpart et que le commanditaire refuse quon publie certains rsultats parce quils le desservent, ce serait une faute dontologique pour le chercheur daccepter le dictat du bailleur de fonds.

Une particularit intressante de la recherche valuative rside dans les buts quelle poursuit. Ainsi, non seulement elle vise comprendre, linstar de la recherche qualitative (paradigme dintelligibilit), et dga-ger des lois et des principes (paradigme nomothtique), comme le fait la recherche quantitative, mais aussi elle a des vises pragmatiques et poli-tiques en contribuant orienter des dcisions. Cest probablement cette richesse qui fait sa popularit, mais aussi sa principale faiblesse, car, en poursuivant tous ces buts la fois, il arrive que le chercheur oublie quils ne pourront tre atteints que dans la mesure o la rigueur mthodolo-gique sera strictement respecte, ce qui est loin dtre toujours le cas.

Activits dappropriation1. Nommez au moins trois critres qui permettent de distinguer recherche

valuative et valuation.

2. Proposez un plan de recherche valuative pour vrifier lefficacit dune politique ducative. Prcisez les tapes suivre, les actions mettre en uvre et les prcautions mthodologiques prendre.

3. Indiquez les points de convergence et de divergence entre :

recherche valuative et recherche-action ;

recherche valuative et recherche applique ;

recherche valuative et recherche fondamentale ;

recherche valuative et recherche conception (design research).

4. Pour chacun des contextes de recherche dcrits brivement ci-dessous, indiquez quelle forme de recherche valuative (oriente vers la concep-tion ou oriente vers la dcision) vous parat le mieux convenir (dans certains cas, les deux peuvent faire laffaire) et justifiez votre rponse.

Situation 1 : Une quipe pluridisciplinaire sest donn pour objectif de concevoir un logiciel de simulation destin des lves du dbut de lenseignement secondaire. Lquipe souhaite prendre toutes les prcautions pour que le logiciel produit rponde le mieux possible aux besoins du milieu.

Chapitre 9218

Situation 2 : Les autorits du ministre de lducation envisagent une rforme de grande ampleur des programmes dtudes. cette fin, elles mettent en place une quipe charge de suivre lapplication de la rforme.

Situation 3 : Aprs trois annes de difficults dues une modification en profondeur des approches pdagogiques prconises au dbut de lenseignement primaire, le ministre de lducation sinterroge sur lopportunit de poursuivre la rforme.

Concepts importantsVous trouverez la dfinition des mots cls suivants dans le glossaire de cet ouvrage :

Recherche valuative oriente vers la conception

Recherche valuative oriente vers la prise de dcision

Lectures complmentairesJones, R. A. (2000). Mthodes de recherche en sciences humaines, Bruxelles,

De Boeck Universit.Cet ouvrage prsente diffrentes mthodes de recherche en sciences humaines et consacre un chapitre la recherche dvaluation.

Miles, M. B., et A. M. Huberman (2003). Analyse des donnes qualitatives, Bruxelles, De Boeck Universit.Cet ouvrage prsente des approches originales en matire de recherche quali-tative et dtude des innovations qui sont susceptibles dtre mises en uvre dans le cadre de la recherche valuative.

Cronbach, L. J. (1983). Designing Evaluations of Educational and Social Programs, San Francisco, Jossey-Bass.Ouvrage de base sur lvaluation des programmes sociaux et sur la recherche valuative.

Documents

Ch15 Depover Et Al Recherche Evaluative(1)