L'évaluation des programmes d'alphabétisation

L'évaluation des programmes d'alphabétisation

Guide pratique Roger Couvert

mnesoo

Publié en 1979 par l'Organisation des Nations Unies pour l'éducation, la science et la culture, 7, place de Fontenoy, 75700 Paris Imprimeries réunies de Chambéry

I S B N : 92-3-201580-3

Édition anglaise: 92-3-101580-X Édition espagnole: 92-3-301580-7

© Unesco 1979

Préface

La publication du présent ouvrage procède du souci d'assurer un caractère scientifique à l'évaluation des actions d'alphabétisation au niveau national, ainsi qu'aux travaux de recherche qui en constituent le fondement.

Appelé à combler, du moins en partie, une lacune, ce guide est destiné aux spécialistes et praticiens et, plus généralement, à tous ceux qui s'intéressent à l'évaluation des entreprises d'alphabétisation des adultes. Il constitue une première contribution à la méthodologie souvent complexe qu'exige la mesure objective des résultats obtenus par un programme d'alphabétisation fonctionnelle; d'autres études seront sans nul doute nécessaires pour la compléter.

Ce Guide pratique a été préparé par Roger Couvert (France) qui fait bénéficier le lecteur de l'expérience qu'il a acquise dans le cadre du Programme expérimental mondial d'alphabétisation de l'Unesco, tant sur le terrain que lors de l'évaluation finale. M . Roger Couvert, attaché à l'Office de l'orientation scolaire à Grenoble, a été notam­ment expert de l'Unesco dans la République unie du Cameroun, à Madagascar, à Haïti et dans la République démocratique populaire lao. Il est l'auteur d 'un certain nombre d'études et articles, notamment sur l'orientation scolaire dans la République unie du Cameroun, l'alphabétisation fonctionnelle dans la République démocratique populaire lao, l'alphabétisation à Haïti et le passage de l'école au métier, ainsi que d 'un guide pratique pour l'évaluation en matière d'alphabétisation. Le texte du présent ouvrage a été enrichi de c o m ­mentaires, observations et suggestions formulés par d'autres spécia­listes. Si l'on considère notamment la diversité des situations en

matière d'alphabétisation, il reste beaucoup à faire pour répondre pleinement aux besoins des experts, et tout progrès de la méthodologie de l'évaluation dépendra dans une certaine mesure des critiques et des propositions que les spécialistes pourront formuler au sujet de cette première étude à la lumière de leur expérience sur le terrain. Leurs réactions et leurs recommandations contribueront à améliorer toute réédition éventuelle du présent ouvrage. Qu'ils en soient par avance remerciés.

Il reste à préciser que si l'Unesco a jugé utile de publier la présente étude, les conceptions qui y sont exprimées sont celles de l'auteur et ne sauraient être considérées c o m m e « la » doctrine de l'Unesco en la matière.

Table des matières

Introduction 11

I Principes généraux de l'évaluation des projets d'alphabétisation 25 1 Alphabétisation fonctionnelle et évaluation 25 2 Évaluation d 'un programme expérimental 28 3 Évaluation d 'un programme opérationnel 32 4 Évaluation interne et évaluation externe 35

II Techniques et instruments d'évaluation des projets d'alphabétisation 37

1 Quelques limites 37 2 Les méthodes d'investigation et les sources d'information 38 3 Les méthodes d'information du projet 46

4 L'étude des changements 49 5 L'analyse des résultats 58

III Les études préliminaires 61 1 But et domaines couverts 61

2 Exploitation de la définition des objectifs du projet 62 3 Faisabilité de l'action 64 4 Définition du contenu d 'un programme d'alphabétisation 68

5 Planification de l'action 72

IV Évaluation du rendement quantitatif de l'action 77 1 Buts de l'évaluation du rendement quantitatif 77 2 Domaines couverts 77

3 Études descriptives 78 4 Études comparatives 79 5 Études explicatives 80

V Évaluation du rendement qualitatif de l'action 83 1 Buts 83 2 Domaines couverts 83 3 Instruments utilisés 84 4 Études descriptives des résultats 88 5 Études comparatives des résultats 88 6 Études explicatives 90

VI Évaluation des effets des composantes logistiques du projet 97 1 Buts 97 2 Domaines couverts 98 3 Instruments utilisés 98 4 Études descriptives 100 5 Études explicatives 102

VII Évaluation des contenus des programmes 105 1 Buts 105 2 Domaines couverts 105 3 Instruments utilisés 111 4 Études descriptives 112 5 Études explicatives 115

VIII Évaluation des changements escomptés 121 1 Objet et méthode générale 121 2 Domaines couverts 122 3 Instruments utilisés 124 4 Études descriptives 126 5 Études comparatives 126 6 Études explicatives 128

IX Évaluation globale du projet 135 1 Évaluation quantitative du rendement 135 2 Évaluation qualitative du rendement 136 3 Évaluation des effets des composantes logistiques du projet 141 4 Évaluation des contenus de programmes 141 5 Évaluation globale du projet 141

Annexe Document 1 : Registre des participants 149 Document 2 : Rapport mensuel 150 Document 3: Bilan de fin de cycle 152 Document 4 : Test de savoir-faire (Programme « coton ») 153 Document 5: Échelle d'alphabétisation 154 Document 6: Fiche signalétique du cours 155

Document 7 : Dimensions, critères et indicateurs pour l'évaluation des changements sociaux, économiques et psychoculturels 157

Document 8: Liste d'hypothèses élaborées pour l'évaluation globale du P E M A 162

Ouvrages à consulter 169

Index 171

Introduction

Avant de présenter la structure de ce guide, il nous paraît utile de préciser le sens que nous donnons à certains des mots figurant dans son titre: guide, pratique, alphabétisation, évaluation.

Les notions employées

Guide

Cet ouvrage n'est pas un manuel; c'est dire qu 'on n 'y trouvera pas les notions essentielles de sociologie, psychologie, pédagogie, écono­mie, statistiques nécessaires à l'évaluation. O n n 'y apprend pas comment devenir évaluateur.

C'est un guide, c'est-à-dire un ouvrage qui contient des rensei­gnements sur des sujets relatifs à l'évaluation des projets d'alphabé­tisation. Il permet à l'évaluateur de s'orienter en lui signalant en temps opportun ce qu'il ne doit pas oublier, en lui proposant un grand choix de travaux et en lui suggérant les directions dans lesquelles il pourra perfectionner son action. L'auteur attire enfin l'attention de l'évalua­teur sur les écueils qu'il peut rencontrer, à la lumière des travaux d'évaluation globale du Programme expérimental mondial d'alpha­bétisation ( P E M A ) et de l'expérience qu'il a lui-même acquise sur le terrain.

Pratique

Plusieurs pages sont consacrées aux aspects théoriques de l'évaluation. O n y a reproduit quelques graphiques accompagnés de rapides corn­

il

Introduction

mentaires, en formulant le souhait que certains projets permettent de vérifier l'hypothèse que l'alphabétisation — surtout fonctionnelle — apporte à l ' h o m m e un mieux-être, une meilleure participation sociale, une maîtrise de la nature plus efficace et réfléchie, un accroissement de sa production.

Mais, avant tout, ce guide se veut pratique, c'est-à-dire relatif à l'action, à l'application. L'ensemble est conçu pour conduire le praticien en évaluation du simple (chap. IV) au complexe (chap. IX), en s'efforçant de présenter la tâche en suivant l'ordre chronologique des travaux à entreprendre (spécialement dans les chap. I, II et III) et en suivant à la fois l'ordre chronologique et logique dans les cha­pitres consacrés aux grands domaines de l'évaluation.

Cependant, pratique ne veut pas dire élémentaire. E n effet, la mise en œuvre d'une action d'évaluation exige de la part de quelques-uns des membres de l'unité qui en a la charge un certain niveau qui permette de construire et manipuler des instruments utilisés couram­ment en sociologie et en pédagogie, le tout accompagné de la connais­sance des méthodes statistiques de base. C'est à l'usage de ces spécia­listes que ce guide a été conçu.

Le praticien est ainsi guidé étape par étape. Chacun des cha­pitres expose d'abord les buts visés dans le domaine d'évaluation considéré. O n y présente ensuite un très large éventail des travaux qu'il est possible — ou intéressant — de réaliser, parmi lesquels le lecteur choisira en fonction de ses moyens et de ses ambitions. Les outils nécessaires à la réalisation des études sont décrits et parfois présentés en annexe. Pour finir, chaque chapitre propose une liste d'hypothèses à vérifier qui, si elles étaient confirmées ou infirmées par les calculs, devraient permettre d'agir sur le déroulement du projet afin d'en modifier les éléments que les conclusions des études auront désignés c o m m e non satisfaisants.

Alphabétisation

Tout programme d'alphabétisation est désormais peu ou prou fonc­tionnel. D'autres ouvrages, publiés notamment par l'Unesco, traitent de la méthode d'alphabétisation fonctionnelle. N o u s ne la définirons donc pas ici. Le présent guide, cependant, insiste sur cette méthode pour les raisons qui seront données au début du premier chapitre. Il traitera donc de l'évaluation des aspects fonctionnels de l'alphabé­tisation en respectant les principes de base de cette méthode.

Néanmoins, les animateurs de projets qui ne pratiquent pas

12

Introduction

réellement la méthode fonctionnelle trouveront dans cet ouvrage tous les éléments qui leur permettront de bâtir correctement un plan d'éva­luation de leurs activités. E n effet, le guide est conçu de façon que les méthodes d'évaluation, les travaux, les techniques, les outils, se répartissent sur trois niveaux de complexité croissante:

Le niveau A intéresse les experts qui ne veulent s'occuper que d'évaluation interne (voir chap. I, section 4), c'est-à-dire connaître les effectifs de tous ordres du projet, vérifier la bonne marche de l'ensemble, contrôler les résultats et mener quelques expérimentations pédagogiques, sans focaliser l'intérêt sur la méthode elle-même, et sans se préoccuper outre mesure des effets de l'alphabétisation sur la société ou l'économie.

Les pages ou paragraphes de ce guide consacrés au niveau A sont signalés dans le texte par la typographie suivante :

Le rapport mensuel (voir doc. 2) donne dans son point « F» , pour chacune des composantes du programme, le nombre de sessions prévues et tenues au cours du mois, ainsi que les numéros des

Le niveau B intéresse plus particulièrement les projets d'alphabé­tisation fonctionnelle qui limitent leur ambition à la seule évaluation interne. Leur système d'évaluation comprendra donc tout ce qui est précisé pour le niveau A , augmenté des pages et paragraphes particuliers à l'alphabétisation fonctionnelle. Ces passages sont signa­lés dans le texte par la typographie suivante:

Ils devront être préparés très finement au sein d'une équipe qui comprendra le méthodologue, les spécialistes en élaboration de pro­gressions, le psychopédagogue, un expert du sujet technique domi-

Le niveau C intéresse les projets qui souhaitent pousser l'analyse au-delà de la simple évaluation interne, et qui voudraient également étudier les effets de l'alphabétisation sur la société, l'économie, etc.

Les pages ou paragraphes consacrés à l'évaluation externe, donc aux projets de type C , sont signalés dans le texte par la typographie suivante:

Dans les cas qui viennent d'être cités, il est préférable de recourir à l'opinion subjective d'experts de la matière jugée plutôt qu 'à des instruments pseudo-objectifs c o m m e , par exemple, les pourcentages

Ainsi, chaque projet, selon ses moyens, sa méthode d'alphabéti­sation, ses ambitions, trouvera facilement, dans le présent guide,

13

Introduction

les travaux qui l'intéressent, les méthodes et les outils qui sont conseil­lés, au niveau de complexité qu'il aura retenu.

Évaluer

Pour évaluer, il est évident que nous ne nous bornerons pas au sens restrictif du terme : « déterminer plus ou moins approximativement la valeur, l'importance », mais que nous lui donnerons une significa­tion plus précise. Pour nous, évaluer un projet d'alphabétisation, c'est mesurer pour décrire, mesurer pour comparer et analyser, mesurer pour essayer de comprendre et pour expliquer. N o u s définirons plus loin chacun de ces termes, mais nous devons d'abord aborder un point important de ce guide, qui a trait à la notion d'hypothèse.

L'hypothèse centrale

Certains s'étonneront de trouver, dès les premières lignes du premier chapitre du guide, le terme d'« hypothèse », dont la connotation théorique risque d'effaroucher les lecteurs à la recherche de solutions pratiques. O n peut admettre que toute action administrative n'est entreprise et menée que dans le but d'améliorer une situation. C e faisant, on émet une certaine hypothèse. D e m ê m e pour un projet d'éducation. O n suppose généralement, ayant constaté une certaine situation, que l'action d'alphabétisation à entreprendre va conduire à une autre situation préjugée meilleure. Évaluer un projet d'alpha­bétisation, c'est confronter une situation actuelle à deux autres, la situation de départ et la situation attendue, escomptée, espérée par les promoteurs du projet. Aussi, pour que l'action d'évaluation soit pleinement efficace, faut-il connaître avec précision: a) la situation de départ — d 'où l'intérêt des études préliminaires (voir section 2 [méthodes d'investigation et sources d'information] et section 3 [l'en­quête de base] du chapitre II) ; b) la situation prévue (et formulée) par les promoteurs du projet d'alphabétisation pour la situation finale attendue après que le projet aura été réalisé (voir section 2 [explici-tation de la définition des objectifs] et section 4 [définition du contenu des programmes] du chapitre III).

Évaluer un projet d'alphabétisation, c'est donner, à tout m o m e n t , la situation approximative du projet par rapport à ces deux pôles en essayant de chiffrer ce qui a été fait, et ce qui reste à faire. Il est donc essentiel de connaître — ou de formuler — l'hypothèse centrale du projet ou, à défaut, le pari lancé par les responsables de l'action d'alphabétisation à entreprendre.

14

Introduction

Le présent guide, dont l'ambition est d'être le plus complet possible, d'aborder le plus de situations prévisibles, est conçu à partir de l'hypothèse centrale du P E M A , qu'on trouvera explicitée au pre­mier chapitre. L'alphabétisation fonctionnelle est certainement, à l'heure actuelle, la plus complexe des méthodes d'alphabétisation. C'est pourquoi elle a été retenue pour l'élaboration de cet ouvrage. Mais il est bien évident que tous les projets ne pourront reprendre à leur compte une hypothèse qu'une équipe nombreuse, de niveau uni­versitaire, disposant de moyens importants, analysant quelque 65 000 pages de documents, a tenté de vérifier pendant presque une année. Chaque projet essaiera de définir sa propre hypothèse. Par exemple :

« Le projet, disposant d 'un budget de X, se propose, en deux ans, d'alphabétiser N femmes de telle région rurale, en les amenant au niveau de fin du cycle scolaire élémentaire et en leur donnant une formation d'enseignement domestique. Il appliquera pour cela des méthodes actives d'éducation. Les centres seront équipés de matériel audio-visuel, de matériel d'auto-enseignement et de postes de radio, car une partie de l'enseignement sera conduite en liaison avec la radiodiffusion d'État. O n pense que cette action aura une influence bénéfique sur l'alimentation, l'hygiène, la santé et la diminution de la morbidité et la mortalité infantiles. »

Sur cette base, l'évaluateur va préparer sa planification (voir section 5 du chapitre III: planification de l'action) dans les domaines sur lesquels les responsables de l'action veulent le plus d'informations. Il s'agira essentiellement: du rendement quantitatif de l'alphabéti­sation (voir chap. IV) ; du rendement qualitatif (voir chap. V ) ; de la logistique du projet (voir chap. VI) ; de la pédagogie (voir chap. VII) ; des changements escomptés (voir chap. VIII).

A partir de l'hypothèse centrale, l'évaluateur va retenir et tenter de vérifier quelques hypothèses secondaires sur, par exemple: la fréquentation optimale, la réussite aux examens, l'enseignement par radio, etc.

O n trouvera une liste importante de ces hypothèses dans chaque chapitre spécialisé, sous le titre « études explicatives ». O n a également regroupé en annexe un certain nombre d'hypothèses formulées dans le cadre de l'évaluation globale du P E M A . O n pourra s'en inspirer avec profit, mais il reste bien entendu que les projets ne sauraient les tester toutes, ni m ê m e les conserver dans la formulation qui en est donnée. Elles sont citées à titre d'exemples.

15

Introduction

Évaluer, c'est mesurer pour décrire

O n trouvera au cours des chapitres qui suivent une longue liste de « variables » qui se prêtent à la mesure et qui permettent, par leurs variations (cause ou effet du mouvement qu'elles mettent en évidence), de refléter une certaine situation en évolution, que l'évaluateur va d'abord décrire puis analyser et, enfin, essayer d'expliquer. Il va s'agir, dans le cadre de l'alphabétisation, de nombres de participants, de centres d'alphabétisation, de quantités de matériels, de résultats d'examens, etc. O n mesurera les valeurs de ces éléments à des moments privilégiés de l'action (au début des cours, à la fin des cours), et l'on présentera les nombres relevés sous forme de tableaux descriptifs d'une situation à un certain m o m e n t .

Par exemple, le tableau 1.1 (chap. IV, section 3) nous donnera le nombre de participants (de tout le projet, ou d'une région, etc.) par sexe et par tranche d'âge au m o m e n t du relevé des « données », sup­posons au début des cours. O n pourra ensuite faire un nouveau relevé de ces données à la fin des cours, et l'on pourra ainsi calculer des taux d'abandon par exemple, qui décriront la situation, centre par centre, région par région, et pour l'ensemble du projet. Le taux d'abandon est un « indicateur » facile à calculer et très significatif. Ainsi, lorsque le taux d'abandon calculé pour le projet est de 3 0 % et que, dans une région, il s'élève à 6 0 % , on comprend qu'il se passe quelque chose dans cette région et qu'il convient d'intervenir (rétroaction).

O n remarquera que les données du tableau 1.1 nous permettront de calculer non seulement les taux pour l'ensemble des participants, mais également ces m ê m e s taux par sexe et par tranche d'âge. L'avan­tage des tableaux composites est qu'ils permettent de répartir les données en un certain nombre de caractéristiques qui aident à mieux cerner la variable.

O n trouvera dans les chapitres IV à VIII une longue liste de tableaux de données à recueillir sur les variables les plus intéressantes et leurs caractéristiques principales.

Il est bien évident que tous les projets ne relèveront pas les données de toutes les variables indiquées dans cet ouvrage, et ne dresseront pas tous les tableaux, ni ne calculeront tous les indicateurs. N o u s avons présenté dans les pages qui suivent un très large éventail de ce qui pourrait être fait, aussi chaque projet ne devra-t-il relever que les données qui lui semblent indispensables. Certains s'intéres-

16

Introduction

seront au nombre des participants, aux abandons ou aux absences, d'autres aux résultats des examens ou des seuls tests d'arithmétique, d'autres à la logistique ou à la pédagogie. Selon le choix qui sera fait, on sélectionnera parmi les tableaux ceux qu 'on se propose de réaliser. Mais la prudence est fortement conseillée. Il ne faut pas oublier que la décision de relever les données relatives à une seule variable va entraîner le relevé de centaines et sûrement de milliers de nombres qui devront figurer sur des dizaines de tableaux, qu'il faudra vérifier, additionner, comparer, etc., ce qui va provoquer des centaines de calculs. C'est pourquoi le choix des données à recueillir ne pourra s'effectuer qu'après de nombreuses consultations entre les membres de l'équipe, et quelques essais dans un centre. Il faudra tenir compte des moyens, en personnel qualifié et compétent, en temps, en argent, en matériel de calcul, dont peut disposer le projet. Il faut éviter que l'unité d'évaluation ne croule sous des avalanches de données que personne n'aura le temps de comparer, d'étudier, et sur lesquelles on ne pourra opérer d'autres calculs que des sommations.

A partir des tableaux, on peut engager des études descriptives dont on trouvera une liste dans chaque chapitre consacré à un grand domaine de l'évaluation (voir le sommaire).

Évaluer, c'est comparer et analyser

Si l'on veut que l'évaluation ne reste pas stérile en se contentant de décrire, mais qu'elle devienne à son tour un m o y e n d'action sur le déroulement du projet, on devra opérer des travaux plus complexes, en comparant et en analysant les divers résultats recueillis lors de la première étape descriptive.

O n pourra, par exemple, rechercher si l'évolution se fait partout à la m ê m e vitesse, de la m ê m e façon. E n effet, si l'on constate que certains centres prennent du retard, il faudra décider des mesures pour rattraper ce retard car la direction du projet s'intéresse au coût de l'opération et ne tient pas à le voir croître. Par contre, si l'on relève que les indicateurs de rendement sont supérieurs dans certains centres, il est important de rechercher les causes de ce succès afin d'améliorer les résultats de l'ensemble des cours en y appliquant les méthodes qui donnent les résultats les meilleurs. Mais il ne suffit pas de constater une différence pour affirmer que les résultats qu 'on étudie sont diffé­rents. Il faut en apporter la preuve par le recours aux méthodes statis­tiques. Pour cela, on va calculer les moyennes des séries, les variances, et soumettre les résultats à des tests statistiques (test de Student, par

17

Introduction

exemple). O n pourra peut-être trouver d 'où vient cette différence, en soumettant les résultats à d'autres épreuves statistiques (analyse de la variance, par exemple). Si les différences existent, il sera intéres­sant d'analyser plus profondément les données et de recommencer les tests statistiques en tenant compte des caractéristiques des variables étudiées. C'est à ce m o m e n t qu 'on s'apercevra peut-être que la diffé­rence constatée provient du sexe, de l'âge, du statut social ou écono­mique des participants, ou du lieu, de l'heure où sont donnés les cours, etc.

O n constate que l'évaluation devient plus complexe, exige des données plus fines et des calculs plus nombreux, mais on voit égale­ment qu'elle apporte à la direction et aux animateurs du projet des indications plus riches, qui devraient permettre d'améliorer la renta­bilité des cours et de diminuer l'effort des participants, grâce à une action en retour sur le déroulement m ê m e du programme.

O n trouvera dans chacun des chapitres spécialisés dans un des domaines de l'évaluation une liste des « études comparatives » qu 'on peut entreprendre (voir le sommaire).

Évaluer pour comprendre et expliquer

Les deux premières étapes de l'évaluation ont permis de décrire des situations, de les comparer, de les analyser et, peut-être, d'inciter la direction du projet à modifier certains éléments du programme dans le but d'améliorer le rendement général.

L a troisième étape est celle qui doit amener l'évaluateur à comprendre ce qui se passe. E n effet, l'enseignement qui est donné dans les conditions précises du projet considéré, dans son environne­ment et avec ses moyens, va provoquer des changements d'ordre instrumental, intellectuel, psychologique, culturel, social, écono­mique, etc. Par ailleurs, la population est soumise à d'autres apports, d'autres apprentissages extérieurs à l'alphabétisation.

Le rôle de l'évaluateur, à ce niveau, va consister à essayer de mettre en relation certains des apports du projet (les inputs) et des résultats présumés de l'action d'alphabétisation (les outputs). Certes, il ne peut s'agir de démontrer, par exemple, que l'augmentation de la production agricole d'une région est le résultat de l'alphabétisation fonctionnelle des paysans de cette région, car les effets de l'éducation sont particulièrement difficiles à mesurer. Ils sont diffus et lents à se manifester puisqu'ils passent par le changement des attitudes et des comportements des individus et des groupes. Enfin, c o m m e dans

18

Introduction

toutes les sciences humaines, il est pratiquement impossible d'isoler et de contrôler toutes les variables mises en jeu.

L'évaluateur va tourner la difficulté en bâtissant un grand nombre d'hypothèses qu'il va tenter de vérifier, les résultats confir­mant ou infirmant sa présomption. Prenons l'exemple suivant: on va essayer l'hypothèse selon laquelle le comportement au travail, les connaissances techniques liées à la production et leur mise en pratique présentent une meilleure qualité chez les travailleurs qui ont suivi un cours d'alphabétisation fonctionnelle que chez les autres adultes. O n va construire un grand nombre d'hypothèses secondaires qu 'on va tester sur deux échantillons appariés de travailleurs, un témoin et u n expérimental. Ces hypothèses pourraient porter sur l'absen­téisme, les jugements des cadres professionnels (ingénieurs, contre­maîtres), sur la qualité et la quantité de travail fourni, le niveau des connaissances professionnelles, l'adoption des pratiques de rentabilité, de procédés modernes, de normes plus rationnelles, de produits modernes (tels qu'insecticides, engrais, etc.), etc.

Il est certain que si ces sous-hypothèses se trouvaient toutes, ou pour la plupart, vérifiées, on pourrait raisonnablement en conclure qu'il y a de fortes présomptions pour que cette amélioration constatée — et escomptée par les promoteurs du projet dans l'hypothèse cen­trale — soit un effet secondaire de l'effort d'alphabétisation fonction­nelle. Mais rien de plus.

Il sera nécessaire, pour ces travaux, de manipuler des instru­ments délicats, d'utiliser des techniques sophistiquées, donc de dis­poser d 'un personnel très compétent. Seuls les projets riches et impor­tants peuvent tenter ce type de travaux. E n tout état de cause, il est indispensable de s'assurer de toutes les garanties scientifiques d'usage et de demeurer particulièrement prudent dans les conclusions qu 'on pourrait tirer des études entreprises.

Structure du guide

L'ouvrage que nous venons d'introduire comporte une première partie en deux chapitres traitant des principes généraux de l'évaluation, des techniques et des instruments proposés.

U n e deuxième partie s'adresse aux projets qui n'ont pas encore débuté et qui souhaiteraient donner à l'évaluation une place de choix. Elle traite des études préliminaires.

19

Introduction

L a troisième partie aborde successivement les grands domaines de l'évaluation d 'un projet d'alphabétisation.

Enfin, un dernier chapitre esquisse les grandes lignes d 'un système d'évaluation globale. Il est suivi d'une annexe comportant quelques documents, et d 'un index.

L a typographie de l'ouvrage permet au lecteur de retrouver aisément les pages qui l'intéressent plus particulièrement, selon le niveau où son projet se situe.

Cependant, pour les projets qui débuteraient avec une unité d'évaluation très réduite, nous avons cru utile de donner ici un certain nombre d'indications brèves, qui pourraient permettre à un personnel encore non expérimenté de tirer le m a x i m u m de profit des travaux qu'il entreprendra.

Il est souhaitable que le responsable de l'unité d'évaluation possède un diplôme universitaire, soit en sciences de l'éducation soit en sociologie, avec de bonnes connaissances dans l'autre domaine. Il devrait aussi posséder de bonnes notions de statistiques et d'économie.

C e responsable devrait avoir au moins un assistant dans chaque sous-projet — ou région — qui serait chargé d'organiser la collecte des données, de les vérifier et de les agréger en tableaux généraux pour la région ou le sous-projet. Ces assistants assureront la liaison avec les centres d'alphabétisation. Ils devront avoir suivi des stages adé­quats afin d'être capables de conduire une enquête et d'opérer des calculs statistiques simples (calcul de moyennes, variances, coefficients de corrélation). Ils pourraient avoir dépassé le niveau de fin de pre­mier cycle secondaire.

A l'échelon central, on devrait trouver d'abord un ou deux « calculateurs » pour agréger les divers tableaux et opérer les calculs plus élaborés nécessaires aux recherches, et quelques spécialistes en sciences de l'éducation (tests de connaissances), en sociologie (rédac­tion des questionnaires, études de milieu), en économie (pour l'éva­luation externe), etc. C e personnel devra avoir dépassé le niveau du second cycle secondaire.

Il est indispensable que le projet dispose à temps complet des assistants régionaux. Par contre, pour les spécialistes, un accord peut être trouvé avec les universités. Des contrats pourraient être passés avec des professeurs ou des chercheurs qui prépareraient les enquêtes, recherches, etc., et les feraient exécuter par leurs étudiants. O n peut, de la m ê m e façon, utiliser les services des inspecteurs de l'enseigne­ment pour les recherches et expérimentations d'ordre pédagogique.

20

Introduction

Voici, brièvement présentée, la liste des travaux qui pourraient être menés par une équipe réduite d'évaluation. Pour plus d'expli­cations et pour la définition des termes, des techniques et des outils, on se reportera au texte.

Études préliminaires

A l'échelon central Planification de l'action d'évaluation; mise au point des instru­ments; formation des assistants régionaux; accord avec les universités pour organiser les enquêtes sur le terrain.

Sur le terrain Enquêtes de base et étude du milieu (en liaison avec l'univer­sité); enquêtes de motivation, recherche du contenu des pro­grammes.

Étude du rendement quantitatif

Au niveau du centre d'alphabétisation A u cours de chaque séance, l'instructeur relève les absences sur le registre mensuel. O n indique une présence par un point, une absence par une des lettres suivantes (exemples) indiquant les principaux motifs de l'absence:

S : santé; T : travail; F : festivités, cérémonies tradition­nelles; D : causes domestiques, enfants, etc.; V : voyage, migration temporaire; C : climat, intempéries; N : causes non identifiées; etc.

A la fin du mois, l'instructeur procède aux divers calculs simples et peut disposer des statistiques suivantes :

a — nombre de séances tenues dans le mois ; b — nombre d'inscrits au début du mois; c — nombre de présences possibles (a X b); d — nombre total d'absences; e — nombre d'absences par cause d'absence;/— nombre d'abandons du mois (par sexe et âge).

Ces statistiques sont adressées chaque mois à l'échelon central et à l'échelon régional.

A l'échelon régional

A partir des renseignements en provenance de chaque centre, on peut, à l'échelon régional, dresser les tableaux suivants: participants par sexe et tranche d'âge; participants par état matrimonial; abandons par sexe et tranche d'âge; abandons par état matrimonial; absences par sexe et tranche d'âge;

21

Introduction

absences par état matrimonial; absences par cause d'absence; abandons par cause d'abandon. O n peut alors calculer au niveau de chaque région (ou programme) les principaux indi­cateurs décrits dans le texte: taux d'abandon, de fréquentation, d'inscription au programme, d'utilisation du temps.

A l'échelon central Il est alors possible, à l'échelon central, d'entreprendre les travaux suivants — entre autres, bien entendu : sommation des divers tableaux statistiques reçus des régions ou sous-projets et publication avec commentaires; calcul, au niveau national, des principaux indicateurs de rendement; études comparatives et explicatives (recherche des causes d'abandon et d'absence, et étude des moyens pour les supprimer); organisation d'études plus poussées (par sondage) à partir des renseignements portés sur les registres d'inscription (par exemple, calculs du taux d'abandon selon le métier des participants, selon les caracté­ristiques des instructeurs, selon la langue parlée, etc.).

Étude du rendement qualitatif

Au niveau du centre Passage de l'échelle d'alphabétisation; passage des tests pério­diques prévus pour les principales techniques éducatives (lec­ture, écriture, dictée, calcul, calcul professionnel, enseignement professionnel, etc.); passage du test final du cycle; éventuelle­ment groupement des résultats de chacun de ces tests selon les sexes, les âges, etc. Les tableaux groupant ces résultats sont adressés à l'échelon régional.

A l'échelon régional Agrégat, pour chacun des tests périodiques, des résultats obtenus dans les centres, et calcul des pourcentages de réussite, par centre, par sexe, par tranche d'âge; groupement des résultats des tests de fin de cycle des divers centres et calcul, pour la région, des divers indicateurs mesurant le niveau de connais­sances acquis. Ces divers travaux sont adressés à l'échelon central.

A l'échelon central Comparaison des résultats reçus des diverses régions; s o m m a ­tion des divers tableaux régionaux et calcul des indicateurs mesurant le niveau de connaissances acquis ; études analytiques : elles doivent permettre de donner aux méthodologues des indi-

22

Introduction

cations chiffrées sur les parties des divers programmes d'ensei­gnement qui n'ont pas obtenu de bons résultats aux tests de contrôle périodiques ou aux tests de fin de cycle.

Évaluation des effets des composantes logistiques du projet

Au niveau du centre L a « fiche signalétique du cours » est remplie par chaque instruc­teur avec l'aide de l'assistant régional; le «rapport mensuel» est rédigé chaque mois et adressé à l'échelon régional.

A l'échelon régional L'assistant régional relève les données de ces deux documents et établit certains des tableaux décrits dans la section 4 du chapitre V I , qui lui seront demandés par le service central :

Répartition des cours selon le lieu et l'horaire; répartition des cours selon le ratio participants/instructeur; réparti­tion des instructeurs selon certaines caractéristiques; aides reçues en matériels didactiques et autres; etc.

A l'échelon central Sommation des divers tableaux reçus des sous-projets ou régions; études comparatives; calcul de quelques coûts unitaires moyens (participant inscrit, participant diplômé, ouverture d 'un centre, fonctionnement d 'un centre, instructeur, etc.).

Évaluation des contenus de programme

Cette partie intéresse surtout les méthodologues qui voudront expéri­menter des méthodes, du matériel, etc. L'unité d'évaluation pourra apporter son aide technique (constitution d'échantillons, calculs sta­tistiques, par exemple), mais il n'est pas dans son rôle de prendre des initiatives dans ce domaine.

23

Principes généraux I de l'évaluation des projets d'alphabétisation

1 Alphabétisation fonctionnelle et évaluation

L'hypothèse centrale de l'alphabétisation fonctionnelle

Les propositions présentées ici s'inspirent directement des travaux de la section d'évaluation de la Division de l'alphabétisation de l'Unesco qui, en 1974 et 1975, a réalisé l'évaluation globale du Programme expérimental mondial d'alphabétisation ( P E M A ) . O n sait que ce programme expérimental s'est étalé sur dix ans, s'adressant à plus d 'un million de participants dans onze pays où ont été testés 137 pro­grammes d'alphabétisation différents. U n e des particularités de ce programme fut qu 'on a tenté d'en évaluer les résultats. Cette tentative fut riche d'enseignements1.11 s'agissait, en fait, de vérifier l'hypothèse centrale de l'alphabétisation fonctionnelle, méthode d'enseignement utilisée par le P E M A . Cette hypothèse a été ainsi explicitée :

« Dans un contexte socio-économique favorable et organisé, un processus de formation, qui met l'accent sur des objectifs de dévelop­pement, fournit aux individus concernés des moyens intellectuels et techniques qui les mettent en mesure de devenir des agents plus effi­cients dans un processus de développement socio-économique. »

Mais toute action d'alphabétisation doit-elle s'inspirer de la

1. Les documents techniques produits par l'équipe chargée de l'éva­luation globale du P E M A n'ont pas encore été publiés mais peuvent être consultés au siège de ['Unesco à Paris, au Centre de documentation de la Division E D / L R D . O n en trouvera le sommaire en fin de volume.

25

Principes généraux de revaluation

méthode d'alphabétisation fonctionnelle ? L a dernière grande réunion internationale sur l'alphabétisation, qui s'est tenue à Persépolis du 3 au 8 septembre 1975, a publié l'importante Déclaration de Persépolis dans laquelle on peut lire :

« Des succès ont été remportés lorsque les programmes d'alpha­bétisation ne se sont pas limités à l'apprentissage de la lecture, de l'écriture et du calcul, et n'ont pas subordonné celle-ci aux impératifs à court terme d'une croissance sans finalité humaine... Ces expé­riences, et notamment les programmes et projets d'alphabétisation fonctionnelle, constituent déjà des apports précieux au patrimoine c o m m u n de l'alphabétisation et de l'éducation de base. Il faudra s'en inspirer davantage pour la mise en œuvre des opérations futures... Les méthodes et les moyens matériels doivent être diversifiés, souples, adaptés au milieu et aux besoins des alphabétisés, à l'inverse d 'un modèle uniforme et rigide... Les modalités de l'alphabétisation doivent s'inspirer des conditions spécifiques du milieu, ainsi que de la personnalité et de l'identité de chaque peuple. »

A travers ces citations, on devine l'intérêt porté par les rédac­teurs de la Déclaration de Persépolis à la méthode d'alphabétisation fonctionnelle. Citons, enfin, le Directeur général de l'Unesco, M . A m a -dou-Mahtar M ' B o w , qui, à la réunion des hauts fonctionnaires des ministères de l'éducation des vingt-cinq pays les moins développés (Paris, 8-16 septembre 1975), déclarait:

« Dans le processus de prise de conscience des réalités natio­nales, c o m m e dans celui de la maîtrise du savoir-faire, les pays les moins développés ne doivent pas oublier le rôle capital que peut jouer l'alphabétisation fonctionnelle. Étant donné que les taux d'analpha­bétisme y sont élevés et que l'ignorance de la majorité de la population adulte constitue un obstacle majeur au développement, cette entre­prise — dont les méthodes ont été mises progressivement au point dans le cadre du Programme expérimental mondial d'alphabétisation adopté par la Conférence générale de l'Unesco en 1964 et exécuté en coopération avec le Programme des Nations Unies pour le déve­loppement — peut rendre les plus grands services. Conçue précisé­ment pour associer étroitement l'accès direct aux sources de connais­sances que constitue l'alphabétisation et la nécessité de faire parti­ciper sans délai l'ensemble de la population à des activités productives de développement, l'alphabétisation fonctionnelle permet d'établir un lien privilégié entre l'éducation et le travail. Mais la fonctionnalité peut avoir un caractère plus large en contribuant à élever le niveau

26

Principes généraux de l'évaluation

de conscience des alphabétisés et en leur ouvrant la perspective d'agir plus efficacement en vue d'améliorer leur propre condition. »

Ainsi, il semble bien que les mérites de la méthode d'alphabéti­sation fonctionnelle soient désormais mondialement reconnus. Et, en fait, si l'on procède à l'inventaire des multiples actions d'alphabé­tisation entreprises actuellement dans le m o n d e — aucun pays, fût-il sur-industrialisé, n'échappe maintenant au fléau de l'analphabétisme — il apparaîtra à l'évidence qu'il n'est plus possible d'entreprendre un seul programme d'alphabétisation qui ne soit fonctionnel, totale­ment ou partiellement. C'est pourquoi les pages qui suivent feront constamment référence à l'alphabétisation fonctionnelle. Cette méthode s'étant révélée la plus complexe des méthodes d'alphabéti­sation pratiquées jusqu'ici, les documents proposés pour l'évaluation des programmes fonctionnels pourront s'adapter à toute autre méthode plus simple, à condition d'en réduire l'ampleur ou en supprimant des détails jugés superflus.

Les grands domaines de l'évaluation

Évaluer un programme d'alphabétisation fonctionnelle dans sa glo­balité revient en fait à vérifier l'hypothèse centrale ci-dessus. E n effet, la vérification de chacun des termes de cette proposition nécessite la mise en place d 'un système d'évaluation spécifique dont l'ensemble permet la vérification globale de l'hypothèse. Ainsi, chaque projet d'alphabétisation pourra, tout en procédant à l'évaluation de sa propre action, tenter — s'il en a les moyens — de vérifier l'hypothèse centrale de l'alphabétisation fonctionnelle et, ce faisant, enrichira le domaine de la recherche consacrée à cette méthode d'enseignement.

E n effet, vérifier que tel programme d'alphabétisation mis en œuvre dans un projet répond de façon positive aux objectifs qui lui avaient été assignés, revient à démontrer que chacun des termes de l'hypothèse centrale a été vérifié, c'est-à-dire à s'assurer que: Le « contexte socio-économique » dans lequel se déroule le pro­

g r a m m e est bien « favorable et organisé » (grâce aux enquêtes de base, aux enquêtes de faisabilité et aux enquêtes sur l'appui logistique reçu par les centres d'alphabétisation, etc.). C e sera l'objet des chapitres III et V I de ce manuel.

Le « processus de formation » (programmes, méthodes, curricula) met bien « l'accent sur des objectifs de développement » (grâce aux études sur la vérification de la « fonctionnalité » des pro­grammes). C e sera l'objet du chapitre VII.

27

Principes généraux de l'évaluation

Le programme « fournit aux individus concernés les moyens adéquats intellectuels et techniques » (grâce à la mesure des résultats qualitatifs et quantitatifs des participants). C e sera l'objet des chapitres IV et V .

« Les participants sont devenus des agents efficients dans le dévelop­pement socio-économique », au niveau de leur cellule sociale (grâce aux enquêtes sur la mesure des changements escomptés). C e sera l'objet du chapitre VIII.

Ainsi, les grandes tâches d'une unité d'évaluation pourraient être: a) les études de faisabilité des projets; b) les recherches ayant pour but de définir les contenus des programmes; c) l'évaluation du rendement quantitatif du système; d) l'évaluation des connaissances acquises en matière d'alphabétisation proprement dite et en matière de savoir et de savoir-faire technologique ou professionnel (ou social, ou écono­mique, etc.); c) l'évaluation des changements culturels, sociaux, économiques, technologiques, etc., apparus à la suite du programme, en référence à ceux qu 'on escomptait.

A partir de ces bases, on peut envisager deux modes corres­pondant à deux moments de l'évaluation, selon que les projets à évaluer sont expérimentaux ou opérationnels. Dans ce dernier cas, les méthodes et les instruments seront moins complexes.

2 Évaluation d'un programme expérimental

Plans expérimentaux

L'évaluation d 'un programme doit être particulièrement fine et le plan expérimental sera donc nécessairement très complexe. Il sera indispensable de planifier, avant le démarrage des cours, la plupart des expérimentations qu'on se propose de réaliser. E n effet, les conclu­sions qu 'on peut tirer d'enquêtes ou d'expérimentations mises en route après le commencement des cours seront toujours entachées d'insécurité puisque, la plupart du temps, on aura été contraint d'utiliser des données recueillies ex-post, dans des conditions qui ne permettent pas de contrôler toutes les variables. Si le plan expéri­mental est sérieusement préparé, on peut procéder simultanément à plusieurs expérimentations avec les m ê m e s groupes, à condition que les participants soient particulièrement bien sélectionnés, appariés avec soin, afin de supprimer le plus grand nombre possible de variables parasites.

28

Principes généraux de l'évaluation

Constitution des groupes

Le but des programmes expérimentaux est de rechercher quel est le programme d'enseignement qui réponde le mieux aux objectifs fixés, qui soit le plus rapide à enseigner, et qui présente le moins de diffi­cultés pour les participants. C o m m e ces programmes sont destinés à être généralisés à toute une population d'une aire géographique (ou économique, ou sociale) étendue, ils doivent être susceptibles d'adaptation immédiate, quelles que soient les différences individuelles que l'on peut constater dans les groupes concernés. D a n s les expéri­mentations à réaliser, il faut donc supprimer les effets de la variable multiple « caractéristiques individuelles ».

Pour cela, on formera 9, 16, 25 groupes (les nombres carrés sont très utiles en expérimentation) de participants qu 'on appariera selon les caractéristiques individuelles essentielles (sexe, âge, niveau de qualification, ancienneté dans le métier, etc., pour un programme économique, ou nombre d'enfants, niveau de vie, etc., pour un pro­g r a m m e féminin ou social). D e cette manière, les variations qui risqueraient d'apparaître entre les groupes pourront être acceptées c o m m e indépendantes des caractéristiques personnelles des individus, objets de l'expérimentation. Ces caractéristiques pourront toutefois servir, en certaines occasions, de variables explicatives (comparaisons intra-groupes).

Étapes du plan expérimental

O n se bornera ici à citer ces étapes et les moyens d'évaluation qui seront nécessaires à chacune d'elles, en renvoyant aux chapitres cor­respondants où sont décrits les méthodes d'enquête, les instruments, leur exploitation, et les modes d'analyse proposés, sinon préconisés.

Expli'citation de la définition du programme. Les objectifs du pro­g r a m m e doivent être très explicitement définis, si possible en termes quantifiés. O n aura recours à l'étude de documents officiels, aux entretiens avec des techniciens et des responsables administratifs, à la technique des jugements d'experts (voir chapitre III, section 2).

Études de faisabilité du programme. Il s'agit de savoir s'il y a, sur le plan régional ou local, volonté politique d'encourager et d'appuyer une action d'alphabétisation, si les populations concernées sont suffi­samment motivées, si les ressources financières existent, si les res­sources humaines (instructeurs) sont suffisantes, quels sont enfin les

29

Príncipes généraux de l'évaluation

éléments favorables ou défavorables pour une assistance au projet en provenance de l'environnement. Ces études nécessiteront, outre les moyens déjà cités, la mise en route d'enquêtes de motivation et d'études du milieu dont on trouvera la description au chapitre III, section 3.

Définition du contenu du programme. Il s'agit de déterminer le contenu du programme envisagé, qui, par définition, sera adapté à la popu­lation concernée. C'est la recherche de la fonctionnalité qui consiste en gros à: Relever les motivations, désirs, souhaits, intérêts des groupes de

participants futurs en matière d'éducation, d'apprentissage, de perfectionnement ;

Dresser l'inventaire des problèmes technico-professionnels, socio-économiques ou autres qui constituent des freins ou des obstacles au développement social ou économique recherché;

Procéder à l'évaluation du niveau actuel des connaissances intellec­tuelles et techniques de la population envisagée;

Dresser la liste des capacités ou aptitudes requises des participants pour résoudre les problèmes identifiés ou surmonter les obstacles qui auront été décelés.

Les recherches pourront s'orienter dans les directions suivantes: enquêtes de base et plans de développement; entretiens avec les res­ponsables du développement; enquêtes de motivations et d'intérêts; monographies techniques.

O n en trouvera la description au chapitre III, section 4 .

Evaluation pédagogique. Elle portera sur un certain nombre d'indica­teurs spécifiques du rendement quantitatif et qualitatif du système d'enseignement, tels que les taux d'absentéisme et de déperdition, de réussite à l'examen final, les résultats des tests périodiques, etc. Les méthodes et instruments utilisés sont décrits dans les chapitres IV e tV.

Evaluation du savoir technologique et du savoir-faire acquis. Il s'agit de mesurer les résultats de l'enseignement technologique à trois niveaux: la connaissance, le savoir-faire, le faire. C e type de mesure exige la construction de tests de connaissances technologiques, l'utili­sation des techniques d'entretien, de jugements d'experts et de fiches d'observations. O n se reportera aux chapitres V et VIII.

30

Principes généraux de l'évaluation

Evaluation des changements socio-économiques escomptés. O n arrive à l'évaluation terminale de l'action, la plus nécessaire sinon la plus importante puisqu'elle déterminera si l'on a atteint les objectifs qu'on s'était fixés au début de l'action: par l'alphabétisation fonc­tionnelle, transformer le milieu dans une direction favorable. O n retiendra cependant que les espaces de temps qui se sont écoulés sont généralement trop courts, d'une part, entre le m o m e n t où le pro­g r a m m e a commencé et celui où il s'est terminé et, d'autre part, entre le m o m e n t où l'évaluation du programme expérimental est réalisée et le m o m e n t où on généralise à toute une zone ce m ê m e programme expérimental modifié.

Il faudra donc établir un plan d'expansion du programme qui comporte un démarrage lent et limité pendant un premier stade, afin de mesurer les changements sociaux, économiques, culturels qui sont attendus à l'intérieur des groupes alphabétisés. Les résultats de l'éva­luation indiqueront s'il est nécessaire de modifier les programmes. Les modifications éventuelles apportées, on pourra alors multiplier l'action.

Conclusions de l'évaluation d'un programme expérimental

Toutes les données recueillies par le système d'évaluation seront mises en relations suivant les méthodes statistiques adéquates, afin de per­mettre à l'équipe qui a mené à son terme la réalisation du programme expérimental de répondre à un certain nombre de questions dont les plus importantes pourraient être: Quels sont les objectifs raisonnables que peut se poser le programme

envisagé ? Quel concept d'alphabétisation est le plus adéquat pour réaliser ce

programme ? Quelles sont les conditions minimales de faisabilité du projet (poli­

tiques, écologiques, financières, humaines) ? Quels sont les contenus de programme les plus adéquats, c'est-à-dire

qui sont les plus proches des vœux des populations et de ceux des techniciens qui souhaitent voir disparaître certains freins au développement ?

Quelles sont les méthodes d'apprentissage les plus aisées pour les adultes de ce type, le matériel pédagogique le plus adéquat, les techniques les plus adaptées, les durées les plus courtes, pour obtenir les résultats les plus favorables dans la s o m m e et la

31

Principes généraux de revaluation

profondeur des connaissances, la qualité du savoir-faire, l'im­portance et la qualité du faire ?

Quelle est la meilleure façon de constituer les groupes, et quelles carac­téristiques personnelles doivent posséder les participants pour obtenir les meilleurs résultats ?

Quels sont les coûts moyens unitaires q u ' o n peut raisonnablement envisager pour une expansion de l'action ?

Quelles doivent être les caractéristiques personnelles des instructeurs et des superviseurs pour obtenir les meilleurs résultats ?

Quelle stratégie doit-on adopter pour généraliser le programme (pla­nification dans le temps et l'espace, campagnes de motivation de la population et des cadres, organisation de la participation, etc.) ?

Quelles sont les difficultés auxquelles on peut s'attendre pendant la la période d'expansion du p rogramme ?

3 Évaluation d'un programme opérationnel Objectifs

C e type d'évaluation consiste surtout en u n système de contrôle qui doit permettre de vérifier de la manière la plus impartiale possible si les objectifs quantitatifs qu 'on s'était initialement fixés ont été atteints, et, grâce à un ensemble de contrôles scientifiques, de déter­miner les facteurs qui favorisent ou qui freinent les activités d'alpha­bétisation. Les travaux sur le terrain pourront être ainsi suivis et vérifiés à la fois dans leurs aspects quantitatifs et qualitatifs.

Les données recueillies devraient permettre de répondre aux questions suivantes: L a lutte contre l'analphabétisme se développe-t-elle et atteint-elle les

objectifs proposés, selon les plans préparés ? Est-ce que le contexte politique et socio-économique dans lequel des

activités d'alphabétisation se déroulent est bien organisé et favorable ? L a population concernée a-t-elle été bien informée et motivée ?

Les technologies éducatives spécifiquesx correspondent-elles bien aux objectifs prévus ?

1. O n utilisera le terme « technologie éducative » de préférence au terme plus général « programme », pour désigner un ensemble complet de séquences réparties en un temps déterminé et s'adressant aux m ê m e s groupes de participants débutant en m ê m e temps (cohortes), visant à

32

Principes généraux de revaluation

Les participants ont-ils été réellement alphabétisés fonctionnellement et sont-ils maintenant engagés dans le développement écono­mique, social, culturel de la nation ?

Les réponses à ces questions exigent la mise en place d 'un système de collecte de données périodiques, conduit par une équipe spécialisée en évaluation.

Description du système d'évaluation

Pour expérimenter les programmes, il a été nécessaire de recueillir les données au niveau de l'individu; pour vérifier le bon fonctionne­ment du système, il suffit de relever les données au niveau du groupe. Trois contrôles devront être opérés : Le contrôle statistique. Il sera exhaustif et périodique. Le traitement

des données pourra être assuré au niveau local et au niveau régional par les instructeurs et les superviseurs. A u niveau central, on utilisera l'ordinateur, si on en a les moyens.

Le contrôle pédagogique. Il sera exhaustif et périodique. Les données seront traitées au niveau local et analysées au niveau régional.

Le contrôle de l'impact socio-économique. Il sera exécuté de manière épisodique sur échantillons (niveau central).

Le contrôle statistique

Les données statistiques de base recueillies au niveau du groupe (et non plus au niveau de l'individu), de manière exhaustive, seront trai­tées, si possible, par ordinateur. Les renseignements relevés porteront sur: la situation géographique: province, district, localité; le groupe: programme suivi, cycle, nombre d'applications, numéro matricule du groupe; les participants: nombre d'inscrits originels par sexe et groupe d'âge, nombre d'inscrits additionnels par sexe et groupe d'âge; la fréquentation et les abandons; les résultats, candidatures aux examens de fin de cycle et nombre de succès; le matériel distribué; le nombre de visites du superviseur; un compte rendu pédagogique portant sur le nombre de séquences enseignées ; les résultats des tests hebdomadaires.

C e contrôle se fera par le « rapport mensuel » (doc. 2), la « fiche signalétique des cours » (doc. 6), remplie au début du cours, un mois après son ouverture ; et le « bilan de fin de cycle » (doc. 3). Les formes

enseigner u n contenu technologique précis (riziculture, betterave à sucre, coton, éducation domestique, puériculture, entretien et réparation auto­mobile, maçonnerie, etc.).

33

Principes généraux de l'évaluation

prévues par ces documents devront être adaptées aux exigences des types de traitement et d'analyse qui auront été retenus. O n peut pré­voir des sommations par région, par agence executive, par technologie éducative, etc.

L'évaluation pédagogique

O n peut prévoir deux types d'évaluation pédagogique qui vont per­mettre de vérifier l'efficacité des cours. Des tests hebdomadaires ou bimensuels préparés à l'avance et inclus

dans le matériel destiné à l'instructeur pour chacune des séquences de la technologie éducative considérée. Ils seront appliqués par les instructeurs à qui ils fourniront des indications sur les progrès des participants dans chacune des composantes du programme. Ces résultats leur apporteront également des renseignements sur l'orientation à donner à leurs activités pégagogiques.

Des tests périodiques et terminaux dont les résultats serviront de base pour la délivrance des certificats de réussite aux participants qui auront dépassé le seuil critique prévu. Ces tests seront admi­nistrés de préférence par les superviseurs. Des échantillons pourront être utilisés au niveau central pour des études portant sur la révision éventuelle des livres de lecture, du matériel d'en­seignement ou sur la sélection des instructeurs.

Le contrôle de l'impact social, économique et culturel

C e contrôle pourra se faire sur des échantillons de participants ayant terminé avec succès le cycle complet d'alphabétisation. Pour effectuer la mesure des changements escomptés, on utilisera une série d'indi­cateurs de mesure, d'accès facile. O n devrait ainsi être capable d'appré­cier le succès de l'opération d'alphabétisation dans des domaines tels que l'acquisition du savoir-faire, la capacité à obtenir et diffuser des informations, la participation à la vie sociale et politique, la capacité à prévoir, à s'organiser et à résoudre ses problèmes quotidiens, etc.

34

Principes généraux de l'évaluation

4 Evaluation interne et évaluation externe

Quel que soit le type de programme à évaluer (expérimental ou opé­rationnel), il convient de distinguer deux sortes d'évaluation. L a première se préoccupe de comparer les résultats définitifs acquis par le programme aux objectifs (sociaux, économiques, culturels, etc.) qu 'on se proposait d'atteindre, dans les limites — financières, géogra­phiques, humaines, etc. — qu 'on s'était fixées. Cette évaluation qui se réfère à des perspectives globales de changement, exogènes à l'action d'alphabétisation proprement dite, sera appelée évaluation externe. Elle correspond au dernier terme de l'hypothèse centrale de l'alphabétisation fonctionnelle. C'est à cette forme d'évaluation qu 'on se reportera pour les comparaisons avec d'autres types de formation, ou pour évaluer le coût économique et social de l'alphabétisation. Les petits projets démunis de spécialistes et de matériel pourront ne pas aborder ce domaine.

L'évaluation interne a une relation directe avec la méthodologie. Elle est utilisable non seulement à la fin mais également au cours du programme, et peut servir à la régulation du système. E n effet, ses résultats, immédiatement étudiés, peuvent permettre des actions de rétroaction à tous les niveaux du schéma de l'élaboration méthodo­logique. L'évaluation portera alors sur: le contenu et le m o d e de pré­sentation des programmes (matériel didactique); l'organisation du programme (progression, durée, intégration, pratique pédago­gique, etc.); le recrutement et la formation des instructeurs; la forma­tion des groupes, etc.

Pour que ce système puisse être pleinement efficace, il est indis­pensable que les techniques et les instruments utilisés présentent le m a x i m u m de garanties scientifiques. Dans le chapitre qui suit, on tentera de proposer des méthodes qui pourraient permettre de cons­truire des instruments de qualité, en insistant le plus qu'il sera pos­sible sur la nécessité d'utiliser des instruments simples et d'adopter des procédures scientifiques.

35

Techniques et II instruments d'évaluation des projets d'alphabétisation

1 Quelques limites

Les instruments de l'évaluation sont ceux utilisés par les sociologues et les psychologues. O n pourra donc consulter un manuel quelconque de psychologie ou de sociologie, pour apprendre comment mener une enquête, un entretien, construire un questionnaire, un test, pro­céder à un échantillonnage, préparer un plan expérimental, etc. Cepen­dant, l'étude des techniques et instruments retenus par les diverses équipes d'évaluateurs du P E M A incite à présenter ici quelques sug­gestions pour une meilleure utilisation de ces techniques et instru­ments, compte tenu des difficultés rencontrées sur le terrain par les praticiens de l'évaluation dans les projets du P E M A .

Avant toute chose, il est essentiel d'admettre l'évidence que voici: dans les sciences sociales, parvenir à un niveau de certitude absolue est une aspiration plus qu'une possibilité. Or les plans de recherche qu'on mettra au point dans les opérations d'évaluation des projets d'alphabétisation viseront à prouver que les interrelations supposées entre les phénomènes observés sont dues aux facteurs retenus que nous supposons être les « causes » des changements relevés sur la variable dépendante étudiée. Il faut admettre dès main­tenant l'immense difficulté qu 'on rencontrera à maîtriser toutes les variables agissant, directement ou non, sur le phénomène étudié. Aussi, devons-nous montrer beaucoup de prudence dans toute tenta­tive d'explication d'un phénomène que nous énoncerons après l'étude des résultats d 'un plan expérimental quelconque, les sources d'incer-

37

Techniques et instruments d'évaluation

titude étant chaque fois importantes en l'absence de contrôle total de toutes les sources de variations.

Afin de limiter cette incertitude, on ne saurait trop recommander une extrême rigueur dans la construction d 'un plan expérimental, d 'un instrument, dans le relevé des données, dans leur exploitation, dans le contrôle à tous les niveaux, dans la recherche des principaux facteurs d'incertitude (et, si possible, dans leur suppression), dans le choix d 'un échantillonnage, dans l'utilisation d 'un test statis­tique, etc.

O n étudiera les techniques et les instruments d'évaluation en suivant un ordre qui pourrait être l'ordre chronologique intervenant dans la mise en route d'une action d'évaluation d 'un projet d'alpha­bétisation. O n présentera successivement techniques et instruments utilisés au m o m e n t de la recherche de l'information, de la mise en forme de l'information, de l'étude des changements et de leur analyse.

2 Les méthodes d'investigation et les sources d'information

Les sources d'information sont très nombreuses et variées. Les modes d'investigation seront donc très divers. O n citera ici les plus utilisés.

A Les documents

Il sera très profitable de commencer par rechercher et par rassem­bler tous les documents écrits qu'on jugera, dès le début, néces­saires. La connaissance des informations qu'ils contiennent per­mettra de rendre plus efficaces les entretiens qui suivront. La liste de documents à consulter qui suit n'est pas exhaustive et n'est donnée qu'à titre d'exemple. O n devra toujours prendre soin de relever les références du document (lieu, auteur, ouvrage, page, n o m de la personne qui le détient). Annuaires statistiques: démographie, santé, économie, éducation; Plans de développement socio-économique: plan national et plans

régionaux; Plans d'opérations des organismes, publics ou privés, chargés du

développement dans les régions où seront lancées des actions d'alphabétisation: entreprises d'État, privées, internationales ( P N U D , F A O , C E E , etc.);

Textes législatifs; Discours politiques; Budgets;

38

Techniques et instruments d'évaluation

Cartes géographiques, économiques, démographiques, climatolo-

giques, etc.; Etudes économiques, sociologiques, etc., des régions concernées; Documents concernant l'éducation des adultes; Coupures de presse. Les documents, leurs résumés ou photocopies, devront être, dès le début, classés selon un ordre logique afin d'être aisément retrouvés. O n pourra s'inspirer du Système de classification des documents du PEMA1 .

B Les entretiens

La connaissance documentaire des domaines touchant à l'alphabéti­sation permet maintenant d'aborder le stade des entretiens avec les personnes responsables, à des degrés divers, des organismes que peuvent intéresser les problèmes de l'alphabétisation. Ces entretiens porteront principalement sur:

La décision politique d'entreprendre une action d'alphabétisation; La définition des objectifs: population, zone, objectifs sociaux, cultu­

rels ou économiques à atteindre; Les assistances proposées (en matière financière, en ressources

humaines, en matériel, aux niveaux central, régional et local) ; Les collaborations prévues (avec les administrations, les organismes de

développement, les instituts de recherche, les universités, etc.); Les problèmes touchant aux formes d'éducation (principalement avec

le Ministère de l'éducation); Les contenus de programme (techniciens de l'agriculture, de la santé,

de l'industrie, etc.); Les modalités d'organisation de l'action et du soutien au niveau de

chaque localité où un groupe de participants sera constitué (administrations, organisations non gouvernementales); etc.

La plupart de ces entretiens intéressent au premier chef le respon­sable du projet. Aussi y a-t-il intérêt à ce que le responsable et l'éva-luateur organisent conjointement ces entrevues.

A ce stade de l'enquête, l'équipe d'évaluation doit être rensei­gnée sur les points suivants: L'importance de la volonté politique d'organiser et de soutenir une

action d'alphabétisation, volonté qui devrait être concrétisée par des actes administratifs;

La délimitation de la zone géographique ou du secteur social ou éco­nomique où doit se dérouler l'action, et la définition de la popu­lation concernée;

1. M . Bazany et R . Couvert, Literacy documentation, vol. II, n° 2 , Téhéran, Institut international pour les méthodes d'alphabétisation des adultes, avril 1973.

39

Techniques et instruments d'évaluation

Les caractéristiques de cette population et de la zone géographique et administrative où elle vit (démographie, ethnologie, socio­logie, culture, éducation, économie, infrastructure);

Les objectifs — si possible quantifiés — de l'action d'alphabétisation à entreprendre, et les organismes de développement avec la collaboration desquels cette action devra être réalisée ;

Les objectifs économiques ou sociaux que se sont fixés les organismes de développement (étatiques ou privés) dans la zone concernée, pour la population qui l'habite;

Les ressources budgétaires, humaines, matérielles, dont disposera le projet, qu'elles proviennent de sources nationales, régionales, privées ou internationales;

Les liaisons organiques du projet avec les instances gouvernemen­tales ou régionales, le ministère de tutelle, les organismes privés ou publics de développement, les organisations non gouvernementales dont on peut attendre un soutien;

L'organigramme du projet d'alphabétisation, ainsi que la fonction de l'unité d'évaluation, avec une définition, si possible assez précise, des objectifs à réaliser et des moyens en personnel et en matériel qui lui seront accordés;

Les grandes lignes des contenus de programme, et les modes d'ensei­gnement souhaités, conseillés ou imposés.

C Les visites du terrain

Toute l'information d'amont recueillie, les objectifs théoriques fixés, l'équipe d'évaluation constituée, il est temps de prendre contact avec la population et la zone concernées. Ces visites permettront de rassembler les éléments devant fournir une réponse à la question de savoir si l'action est réalisable. Elles porteront à la fois sur l'environ­nement physique et sociologique de la population à alphabétiser et sur cette population (son information, sa sensibilisation, ses motiva­tions, ses intérêts). O n s'efforcera de visiter les zones les plus difficiles et les plus démunies sur les plans de l'accès, de l'infrastructure, du genre de vie, de la culture technologique, de l'éducation, du niveau sanitaire, du niveau de vie, de l'accueil.

Ces visites constitueront un effet de sensibilisation par les cam­pagnes en faveur de l'alphabétisation qu'on mènera simultanément. Elles permettront également à l'équipe d'évaluation de dresser une carte de la région 1 fournissant pour chaque village ou agglomérat d'habitats dispersés, un ensemble de renseignements sur:

1. O n insistera davantage ici sur les projets ruraux, certainement les plus complexes. Il sera aisé de transposer sur des projets industriels ou féminins.

40

Techniques et instruments d'évaluation

L'infrastructure: moyens d'accès et locaux disponibles; Le niveau d'instruction de la population: existence d'instructeurs

éventuels; La disponibilité (en temps et force de travail) de la population, liée

au niveau et au genre de vie; La motivation de la population: intérêts, participation; Les formes de soutien local: assistances politiques, morales, maté­

rielles. D e l'étude de ce faisceau de renseignements, on peut tirer une hypo­thèse raisonnable de faisabilité d'une action d'alphabétisation pour chaque village ou chaque groupe humain.

D Les questionnaires et les fiches d'observation

O n choisit alors des villages expérimentaux et des villages témoins (voir infra, section 4). Puis on va procéder à des enquêtes plus pro­fondes ayant pour but d'arriver à une meilleure connaissance de la population à alphabétiser afin de : déterminer le contenu de la plupart des composantes du programme d'enseignement; choisir et mettre en place les indicateurs de mesure des changements escomptés.

O n utilisera surtout les questionnaires et les fiches d'observation. O n trouvera dans les manuels de sociologie une abondante littérature sur les questionnaires. N o u s donnerons cependant ici quelques indi­cations afin de tirer de cet important m o y e n d'investigation le meilleur profit dans le contexte de l'évaluation en matière d'alphabétisation.

La forme du questionnaire

Concernant la forme, on doit préciser avant tout qu'il faut éviter que les questions soient perçues c o m m e une sorte d'investigation de type policier. Aussi est-il préférable, chaque fois qu 'on le pourra, de subs­tituer au questionnaire direct une fiche d'observations relevées dis­crètement. 11 faut également se garder d'utiliser des magnétophones quand on enquête parmi des populations peu contaminées par les moyens audio-visuels.

La longueur des questionnaires et la durée des entretiens ne sont pas des critères de référence pour en déterminer la qualité. Le questionnaire n'est qu 'un instrument. Si l'étude est trop ambitieuse, le questionnaire sera vraisemblablement très long. Il faudra alors avoir recours au plus grand nombre possible d'outils complémen­taires. Le vrai critère de la longueur d 'un questionnaire, en dehors de son coût, est l'intérêt qui lui est porté par les personnes interrogées,

41

Techniques et instruments d'évaluation

et le degré de fatigue qu'il provoque chez ces personnes. Aussi doit-on, au préalable, tester le questionnaire auprès de sujets possédant les m ê m e s caractéristiques socio-culturelles ou professionnelles.

O n ne doit pas accorder une importance exagérée à la forme imprimée d 'un questionnaire. C e qui est primordial, c'est de relever des réponses permettant d'arriver à la connaissance recherchée. L a forme imprimée de la question importe donc peu, c'est l'art de l'enquêteur qui importe. A la limite, un questionnaire ne devrait porter que des numéros de questions et les réponses des personnes interrogées. Par contre, chaque questionnaire devra faire l'objet d'un m o d e d'emploi auquel chaque enquêteur pourra se référer, m ê m e s'il a suivi un stage de formation préalable. C e m o d e d'emploi devra indiquer, au m i n i m u m : la but de l'étude, sa durée; les moyens utilisés (dont le questionnaire); l'ordre dans lequel certaines questions devront être posées et m ê m e parfois la forme quand on veut arriver à une pensée très nuancée, mais il ne faudra pas oublier qu 'un bon enquêteur conduit une conver­sation et ne rédige pas un rapport de police ; pour certaines questions, des indications rappelant que la réponse portée sur le questionnaire devra présenter un certain degré de précision ou une certaine quali­fication que l'enquêteur devra apprécier, si l'enquêté n'est pas à m ê m e de la fournir.

Le contenu du questionnaire

Pour le contenu, on indiquera ci-après une procédure peut-être longue, mais efficace, car elle relève d'une démarche logique et économique qui procède par étapes chronologiques.

Définir Vobjet détaillé de Vétude en donnant le m a x i m u m de précisions et en explicitant le but lointain de la recherche, donc l'action opéra­tionnelle qu 'on se propose de mener si les résultats de l'enquête sont favorables. Si l'enquêteur sait, dès le début, pour quel projet lointain il entame son enquête, son imagination n'en sera que plus créatrice.

Rechercher et définir les grandes directions dans lesquelles doit porter l'investigation. Prenons l'exemple d'une enquête d'évaluation des changements susceptibles d'intervenir au sein d'une société qui entre­prend une action d'alphabétisation de type fonctionnel. Cette action se proposant de donner aux travailleurs des outils intellectuels et techniques qui leur permettent de changer leur mentalité, leur niveau de vie, et leur genre de vie, l'enquête devra porter sur les domaines

42

Techniques et instruments d'évaluation

suivants: vouloir changer; savoir; savoir prévoir, organiser et résoudre; vouloir s'informer, communiquer et diffuser; participer; savoir faire; faire; mieux vivre; s'ouvrir au progrès.

E n effet, toutes ces actions attendues du travailleur qui s'alpha­bétise doivent l'amener à agir globalement sur son milieu pour le transformer, objectif final de l'action d'alphabétisation1.

Rechercher les critères significatifs des changements escomptés dans chacune des grandes directions sur lesquelles doit porter l'étude. Il s'agit d'inventorier les actions, les comportements, les attitudes observables et, si possible, mesurables par des indicateurs ou des indices, par lesquels les changements attendus se manifesteront de façon significative et objective. O n voit là toute l'importance des visites sur le terrain et le lieu de travail, des entretiens avec les techni­ciens, et des monographies techniques. O n trouvera en annexe un document (doc. 7) offrant u n exemple de liste de critères pour un pro­g r a m m e consacré à des travailleurs d'une mine.

Opérer un premier choix d'indicateurs de mesure des changements escomptés. O n recherchera pour chaque critère un certain nombre d'indicateurs représentatifs et l'on ne retiendra que ceux qui sont nécessaires à la démonstration recherchée ou à la vérification de l'hypo­thèse énoncée. D e plus, les indicateurs retenus devront présenter des qualités de représentativité et d'objectivité et devront être, enfin, aisé­ment identifiables et mesurables. E n fait, ils devront présenter les qualités qu 'on exige d 'un bon test: validité, fidélité, sensibilité. Ces indicateurs seront utilisés à deux niveaux, les uns simplement c o m m e descriptifs, les autres c o m m e explicatifs, fournissant alors u n jeu de variables dépendantes.

L a première action à entreprendre sera de dresser la liste des travaux statistiques qui seront nécessaires pour la démonstration que se propose l'étude pour laquelle on va bâtir u n questionnaire. Exemple: l'étude intermédiaire d 'un projet d'alphabétisation d 'ou­vriers se propose, d 'une part, de faire le bilan des résultats pédago­giques et de rechercher quels freins ont pu retarder l'acquisition des connaissances prévues et, d'autre part, de déceler si des changements

1. Ces neuf directions ont été définies c o m m e essentielles à la suite de l'analyse réalisée dans le cadre de l'évaluation globale du P E M A . Se référer au document technique V I de la bibliographie.

43

Techniques et instruments d'évaluation

sont intervenus dans des domaines économiques et sociaux. L'étude nécessitera, entre autres, de disposer des données suivantes : résultats des tests hebdomadaires; résultats du test final; caractéristiques per­sonnelles des ouvriers retenus par les échantillons des groupes expé­rimental et témoin; changements intervenus depuis l'enquête préli­minaire dans les domaines social, économique, professionnel, etc.

Cette liste n'est pas limitative: on se propose, ici, d'éclairer la démarche par un exemple, et non de réaliser l'étude à laquelle on se réfère. O n prépare alors les tableaux qui serviront à recueillir les données dont on a besoin, dans la forme exigée par le traitement statis­tique. Cette exigence permet de définir la taille de l'unité et les limites des classes de groupement des données. O n relèvera sur ces tableaux une première liste d'indicateurs que le questionnaire s'efforcera d'obtenir.

Expliciter et détailler les diverses hypothèses que l'enquête entreprise se propose de vérifier. O n trouvera dans les divers documents techniques de l'évaluation globale du P E M A * un grand nombre d'exemples de ces hypothèses. Retenons-en une. O n veut vérifier, par exemple, que l'action d'alphabétisation entreprise a eu une influence favorable sur le rendement du travailleur. N o u s voulons donc vérifier que « les participants sont devenus des agents efficients dans le développement socio-économique » (hypothèse centrale), en d'autres termes que les cours ont permis aux travailleurs qui les ont suivis d'améliorer, entre autres, leur savoir-faire au plan de la production. O n vérifiera donc si les compétences professionnelles et les habitudes de travail ont été améliorées. Retenons le dernier critère. O n peut choisir, c o m m e points de mesures: l'entretien de la machine, le degré de propreté de la machine et de son environnement, le respect des normes de sécurité, l'absentéisme, soit quatre indicateurs pour le critère « a m é ­lioration des habitudes de travail ».

Pour que l'hypothèse soit vérifiée et que la démonstration soit inattaquable, il faut que le traitement des données à recueillir démontre que: Les groupes témoin et expérimental étaient homogènes sur le plan

de la variable avant l'expérience (d'où test d'homogénéité de la variance pour les variables des deux groupes).

Les groupes témoin et expérimental ne sont plus homogènes sur le

1. Voir la bibliographie à la fin de l'ouvrage.

44

Techniques et instruments d'évaluation

plan des variables à étudier après l'enseignement (test d ' h o m o ­généité de la variance sur les données à étudier, recueillies après le cycle d'études).

Les indicateurs retenus pour chaque critère ont varié dans le sens favorable, et le changement relevé dans les mesures avant et après l'enseignement est significatif (test de signification de différence des moyennes, pour chaque indicateur).

Il y a liaison entre l'amélioration des habitudes de travail des ouvriers du groupe expérimental et les résultats obtenus soit au test final, soit aux tests hebdomadaires de connaissances techniques relatives à l'enseignement de ces améliorations recherchées.

Afin d'opérer les calculs statistiques nécessaires, nous devons disposer, par exemple, pour chaque ouvrier des échantillons, des données sui­vantes, à recueillir sous une forme ou une autre (tests, questionnaires, consultation de tableaux statistiques de l'usine, etc.): nombre de graissages de la machine, par jour ou par semaine (questionnaire) ; degré de propreté de la machine (observation) ; nombre de nettoyages de l'environnement (questionnaire); nombre de jours d'absences et causes, pendant le mois écoulé (questionnaire et consultation des statistiques de l'usine); nombre d'accidents (id.); respect des normes de sécurité (observation et questionnaire); résultats des tests finals (test, statistiques du projet) ; résultats des tests hebdomadaires (id.) ; etc.

L a recherche, ainsi poussée, des plans, méthodes et instruments statistiques à utiliser permet de révéler qu'il est nécessaire de con­naître les modifications d 'un certain nombre d'indicateurs précis, qui obligeront les enquêteurs à isoler et à relever des données élémen­taires sur le lieu de travail, et à rechercher, dès ce m o m e n t , la forme la plus simple et la plus efficace sous laquelle on va s'efforcer d'obtenir chacune d'elles. O n décide ensuite au m o y e n de quelle technique on va procéder à leur collecte (observation, entretien, questionnaire, etc.).

Construire le questionnaire. Après avoir relevé la liste de toutes les données à recueillir par questionnaire, on construit cet instrument selon les règles classiques. L a méthode qu 'on vient de décrire permet d'y porter toutes les questions nécessaires et seulement ces ques­tions. C e procédé apporte une réponse à la question de la longueur du questionnaire, qui aura la longueur nécessitée par le nombre indis­pensable de questions à poser puisqu'on a reporté sur d'autres ins­truments toutes les demandes d'information qui pouvaient l'être. O n sera également sûr de n'avoir rien oublié et d'avoir fixé la forme de

45

Techniques et instruments d'évaluation

la réponse grâce à l'élaboration préalable des tableaux de relevé des données.

£ Les monographies techniques

Tout programme fonctionnel comportera un enseignement techno­logique, qui pourra varier des soins à donner au nouveau-né à la culture de la tomate, en passant par le tissage, la filature ou la sécurité dans les mines.

O n demandera aux techniciens spécialisés de rédiger les m o n o ­graphies techniques, et ce sera le rôle des pédagogues du projet de transformer le message technique en langage immédiatement acces­sible aux personnes qui participeront aux cours.

3 Les méthodes d'information du projet

Il est essentiel, pour une unité d'évaluation, de publier les résultats de ses enquêtes et de ses recherches, entreprises très souvent, il convient de ne pas l'oublier, à la demande d'un des services spécia­lisés du projet. C e souci d'information doit répondre au besoin tou­jours manifesté par les équipes conceptuelles et opérationnelles de connaître au plus près, d'une part, la matière vivante du projet, la population qui en fait l'objet, son évolution, d'autre part, les résul­tats de l'évaluation constante du travail que ces équipes réalisent soit en concevant la matière d'enseignement, soit en l'utilisant quotidiennement.

Ainsi appartient-il à l'équipe d'évaluation de fournir à l'en­semble du projet des instruments d'information qui, en premier lieu, renseignent les artisans de l'action d'alphabétisation et le public et, en second lieu, représentent la« mémoi re» du projet, la photogra­phie d'instants T1 , T 2 , T3 . . . significatifs de son évolution. Cette documentation pourrait présenter deux formes: la première c o m ­prendrait des publications de type monographique qui reprendraient les résultats des enquêtes de base, des enquêtes intermédiaires et finales; la seconde, des publications de type statistique qui fourni­raient sous forme de tableaux commentés les résultats de travaux portant sur les principaux indicateurs de mesure de changements (indicateurs de base, voir ci-après, section 4).

A L'enquête de base

La première publication d'importance pourrait présenter les résul­tats de l'enquête de base. Elle regrouperait en un document unique, d'une part, l'énoncé des objectifs du projet et la description de son organisation et de son plan d'exécution, d'autre part, la présentation

46

Techniques et instruments d'évaluation

de ce qui pourrait être la photographie de la population et de la zone concernée, avant la mise en route de l'action d'alphabétisation. Le sommaire pourrait s'inspirer de cet exemple: Le projet

Objectifs, organisation interne, plan d'exécution Description de la zone et de la population concernées

Environnement physique Délimitation de la zone (urbaine, rurale), cartes, distances Géographie physique (plaine, montagnes, mer , etc.) Climat (conséquences sur les cours)

Environnement social Population, démographie (exode, mouvements saisonniers, étrangers) Forme de l'habitat: groupé, dispersé (distances), religion, culture Langue (nationale, maternelle, dialecte) Organisation sociale: administrative, traditionnelle (centres de décision apparents et réels) Associations (politiques, culturelles, féminines, sportives, etc.) Equipement social: mairie, salles de réunion

Hôpitaux (statistiques de morbidité et mortalité: adultes et enfants) Education (écoles, bibliothèques, niveau d'alphabétisation et taux de scolarité) Loisirs

Utilisation des mass media: journaux, radio, télévision, cinéma Etc.

Environnement économique Infrastructure

Accès: routes (état, ponts, radiers), chemin de fer, mer ou fleuve, avion Eau courante Electricité

Services postaux, téléphone Banques

Bref aperçu sur la production (primaire, secondaire, tertiaire, exportations, importations, etc.) Projets de développement, animation rurale, etc. C o m m e r c e et artisanat Etc.

Environnement professionnel des participants Branche de l'économie (rurale, agricole, industrielle, artisanale, domestique) Production principale et productions annexes de la firme ou de

47

Techniques et instruments d'évaluation

l'entreprise (agricole, industrielle, artisanale) Postes de travail des participants Environnement du travail des participants (chaleur, bruit, froid, humidité, etc.) Accidents et maladies de travail Formation professionnelle Chances de promotion Assistances sociales Syndicats Etc.

Caractéristiques des participants et des groupes L'échantillon: m o d e d'échantillonnage, représentativité, taille, taux de mortalité prévu, degré de précision, strates retenues Les groupes: taille, localisation, homogénéité d'âge, de profession, ratio participants/instructeur Les instructeurs et superviseurs: caractéristiques personnelles Les participants: caractéristiques personnelles (âge, sexe, statut marital, statut professionnel, salaire, langue, niveau d'alphabétisa­tion, etc.) Les conditions matérielles: lieux et horaires, fréquence et durée, locaux et mobilier Le programme par cycle, composantes et emploi du temps Etc.

Les enquêtes intermédiaires et finales seraient publiées sous un modèle similaire, afin de permettre toutes comparaisons utiles.

Les autres services techniques du projet pourraient également publier les documents qu'ils ont mis au point, tels que programmes, monographies techniques, etc.

B Les tableaux statistiques

Ces tableaux publiés périodiquement — chaque mois si possible — pourraient présenter, par province et technologie éducative et glo­balement, des statistiques sur: l'absentéisme, par sexe, âge et cause; la déperdition, par sexe, âge et cause; les résultats des tests inter­médiaires; les résultats des tests de fin de cycle.

48

Techniques et instruments d'évaluation

4 L'étude des changements Evaluer un projet d'alphabétisation, c'est en grande partie prévoir des changements, les percevoir, les mesurer, les analyser. N o u s venons de voir de quelle manière on pouvait les prévoir. Pour arriver à les percevoir et les mesurer, il faut faire intervenir de nouveaux instru­ments : on tentera de les percevoir et de les mesurer grâce à des indi­cateurs spécifiques mis en place à l'intérieur de groupes expérimentaux.

A Les indicateurs statistiques de base

Le P E M A avait mis en place un système normalisé de rassemblement de données qui a fait ses preuves et qu'on a intérêt à mettre en place également dans le projet, sous la forme proposée. Il s'agit du S D R S (Standardized Data Reporting System) qui est décrit ci-après. (La numérotation des paragraphes est simplifiée par rapport aux docu­ments correspondants du P E M A . )

Indicateurs concernant la participation aux programmes

1. Taux d'inscription au programme. Cet indicateur représente le

rapport entre le nombre de participants initialement inscrits et le nombre de places disponibles (prévu par les auteurs du projet).

Par participants initialement inscrits, dans les cas où la période d'inscription dépasse la date limite définie ci-dessous, s'entendent les participants qui se trouvent être inscrits à la date considérée c o m m e étant celle de la constitution de la cohorte. Cette période est définie en fonction des conditions locales mais ne doit pas dépasser un mois à compter du début des activités des groupes.

Par nombre de places disponibles s'entend le nombre de places prévues dans le projet pour un programme donné et à un stade donné de ce programme. Pour chaque programme, l'indicateur est calculé après le premier mois qui suit l'inscrip­tion. Pour tout participant inscrit ou initialement inscrit, il est nécessaire de donner l'âge et le sexe (dans le cas de groupes mixtes).

2. Taux d'abandon. Cet indicateur représente le rapport calculé

chaque mois entre le nombre de participants de la cohorte qui ont quitté le cycle au stade indiqué d'un programme pendant le mois concerné, et le nombre de participants de cette cohorte.

Abandon s'entend de la situation de toute personne

49

Techniques et instruments d'évaluation

n'ayant pas suivi le cours pendant un mois complet, ou consi­dérée c o m m e telle par l'instructeur. Lorsque les inscriptions se poursuivent au-delà de la date donnée (inscriptions addi­tionnelles), le taux d'abandon est égalementcalculé par rapport au nombre total de participants inscrits (inscriptions initiales et additionnelles) à la fin du mois indiqué.

3. Taux de fréquentation. Cet indicateur représente le rapport entre le nombre de cours quotidiens auxquels ont effectivement assisté tous les participants inscrits au début du mois consi­déré, et le chiffre obtenu en multipliant le nombre prévu des cours quotidiens par le nombre des inscrits au début du mois (les inscriptions additionnelles intervenant au cours du mois n'entrent pas en ligne de compte).

4. Utilisation du temps. Cet indicateur représente le rapport entre le nombre de cours effectivement donnés dans le mois considéré et le nombre de cours quotidiens prévus.

5. Taux de couverture. Cet indicateur représente le rapport entre le nombre de places disponibles au début d'un programme et l'effectif de la population susceptible de participer à ce pro­g r a m m e .

Le nombre de places disponibles est le nombre de places prévu pour la population considérée, par les auteurs du projet, pour un programme particulier. L'effectif de la population susceptible de participer au programme représente le nombre de personnes répondant aux critères de participation définis par les auteurs du projet (âge, sexe, profession, état d'alpha­bétisation, etc., par exemple, pour les cultivateurs de coton âgés de 14 à 45 ans).

6. Taux de participation aux épreuves terminales. C e taux représente le rapport entre les m e m b r e s de la cohorte qui ont participé aux épreuves terminales du cycle considéré d'un programme donné et l'effectif total de la cohorte. En cas d'inscriptions additionnelles, le nombre de ceux qui se sont présentés aux examens serait aussi à rapprocher du nombre total d'inscrits au cycle correspondant de ce programme.

Indicateurs mesurant le niveau de connaissances atteint

7. Niveau d'acquisition de connaissances d'alphabétisation proprement dite. Cet indicateur représente le pourcentage d'analphabètes initialement inscrits qui, à la fin d'un cycle donné ou d'un pro­g r a m m e donné, sont déclarés alphabétisés après avoir passé avec succès des examens objectifs. Le niveau et les modalités de passage ainsi que les systèmes de notation ont été fixés par un groupe d'experts sur le terrain.

50

Techniques et instruments d'évaluation

Il est recommandé de mettre au point des tests standar­disés permettant d'apprécier le niveau atteint dans les quatre domaines: a) arithmétique élémentaire; b) aptitude à appliquer l'arithmétique à des tâches professionnelles précises; c) c o m ­préhension de textes écrits (brochures techniques par e x e m ­ple); d) aptitude à formuler et communiquer un message simple par écrit.

8. Acquisition des connaissances techniques ou professionnelles. Cet indicateur représente le pourcentage d'analphabètes initiale­ment inscrits, qui, à la fin d'un cycle ou d'un programme donnés, ont passé avec succès les épreuves d'aptitudes corres­pondantes — les critères étant définis par les auteurs du pro­jet. Les épreuves de ce test d'aptitude doivent correspondre aux matières inscrites au programme et aux objectifs que les participants doivent atteindre (niveau minimal de connais­sances professionnelles à acquérir).

9. Acquisition de connaissances de caractère socio-économique. 10. Acquisition de connaissances en matière de santé, hygiène, alimen­

tation, protection infantile, etc. L'acquisition des connaissances couvertes par ces deux indicateurs sera mesurée de la m ê m e façon que ci-dessus (indicateur 8).

11. Usage de l'aptitude à écrire: nombre moyen de messages écrits, envoyés ou reçus par participant. La période de référence peut être différente selon les catégories de messages, la moyenne étant calculée sur un mois. Tous les messages écrits, à l'excep­tion de ceux soumis à l'instructeur, comptent (questions admi­nistratives, lettres personnelles, formulaires remplis, etc.). Dans cet indicateur, tous les messages sont considérés c o m m e équivalents.

12. Utilisation de l'aptitude à lire (indicateur r e c o m m a n d é 1 ) . Selon les possibilités, on pourra utiliser l'un des deux types de don­nées suivantes: a) nombre moyen de messages écrits reçus (et lus) par participant, la période de référence pourra être diffé­rente selon les catégories de messages. La moyenne sera cal­culée sur un mois. Tous les messages écrits, à l'exception de ceux provenant des instructeurs, compteront (lettres person­nelles, circulaires administratives, revues, livres, journaux, etc.). Tous les messages écrits seront considérés c o m m e équi­valents; b) nombre moyen par habitant de messages écrits

1. L a troisième réunion des experts en évaluation du P E M A avait pré­conisé l'utilisation d'indicateurs minimaux obligatoires et d'indicateurs recommandés.

51

Techniques et instruments d'évaluation

arrivant dans la localité ou la région considérée ( m ê m e procé­dure que ci-dessus).

13. Utilisation de l'aptitude à compter (recommandé). Cet indicateur est de m ê m e nature que les deux ci-dessus. Les données de base représentent les comptes du ménage, les comptes d'asso­ciation, de coopératives, les pesées, les partages et autres calculs et mesures effectuées par les participants.

Indicateurs de mesure des changements

Indicateurs relatifs à la croissance et au développement économique 14. Accroissement de la production par habitant: croissance, en

pourcentage, du volume de la production atteinte dans les acti­vités relatives au contenu du programme, mesurée par rapport au niveau de production au début de l'exécution du programme. Les éléments de cet indicateur peuvent être pris au niveau de communautés ou de groupes de communautés, d'entreprises, d'établissements industriels ou d'ateliers et/ou au niveau de groupes de participants. Les effets de l'alphabétisation peuvent être déterminés au moyen de groupes témoins ou par toute autre méthode appropriée.

15. Qualité des produits (recommandé). Modifications de la répar­tition du volume total de la production commercialisée, entre les différentes qualités. Étant donné la diversité des normes fixées dans les différents pays, il est impossible de suggérer un indicateur c o m m u n .

16. Prix de vente: cet indicateur peut être calculé quand le prix de revient des produits réfléchit effectivement les changements survenus dans les relations entre les producteurs et le marché. Les prix obtenus se rapportent à des qualités et des quantités égales.

17. Prix (par unité de quantité) des éléments qui entrent dans les coûts de production. Étant donné la diversité des éléments dont on pourrait tenir compte, il n'est pas possible de définir un indi­cateur c o m m u n dans ce domaine. Pour chaque élément obser­vable dans des conditions données, on calculera les changements dans le temps et/ou la différence relative (entre deux unités de production) des prix unitaires pour les insecticides, les engrais chimiques, le nombre d'accidents, l'absentéisme, le prix d'achat, les dépenses afférentes à l'entretien et aux réparations des machines, le coût du crédit, etc. C e type d'indicateur est calculé

52

Techniques et instruments d'évaluation

pour une communauté, pour des groupes existant au sein de la communauté, des établissements, des usines ou des ateliers.

18. Augmentation des biens durables et améliorations contribuant à relever le niveau de vie. Accroissements et améliorations obtenus en un an, calculés en pourcentage du nombre des élé­ments figurant dans une liste établie à l'avance.

Parmi les biens et améliorations dénotant des changements techniques, on peut faire figurer: la réduction des distances/ temps (par exemple le nombre de bicyclettes), le contrôle et le calcul du temps (montres, réveils), l'intensification des c o m m u ­nications (radio), la protection des biens (serrures, verrous, amélioration des conditions de stockage), les modifications fonctionnelles de l'habitat (construction de toits, ventilation, éclairage, etc.), l'amélioration des fournitures d'eau (équipement et implantation des puits, eau courante, etc.,la protection contre les insectes et les parasites (moustiquaires, insecticides), etc. Les objets, produits et améliorations considérés sont choisis parmi ceux dont disposent, ou que peuvent se procurer, les populations en cause.

19. Accroissement du revenu monétaire global net des individus. Cet accroissement s'exprime en pourcentage du revenu mesuré au début. Les effets de l'alphabétisation fonctionnelle sont identi­fiés par référence à un groupe témoin ou au m o y e n de toute autre technique appropriée au cas considéré. Cet indicateur peut être calculé pour des groupes de participants, des c o m m u ­nautés, des ateliers, ou des entreprises.

20. Accroissement de l'équipement destiné à la production, à l'entre­tien et aux transports — dans les programmes à l'intention des petits producteurs (recommandé). Taux d'accroissement de l'ensemble du matériel de production, d'entretien et de trans­port (moyenne de plusieurs années). O n calcule ce taux d'après l'ensemble du matériel acquis par les individus ou les collecti­vités et utilisé par les propriétaires et autres personnes, produit localement ou ailleurs.

21. Importance des changements relatifs aux attitudes socio-écono­miques et au rôle des individus dans la société. Dans le cadre de ce critère, il n'est pas possible de définir un indicateur uni­forme; pour chaque projet, on définira les composantes propres de l'indicateur d'après la condition sociale précise de chacun des participants.

53

Techniques et instruments d'évaluation

Les indicateurs relatifs aux attitudes à l'égard de l'éducation 22. Taux de scolarisation des enfants des participants. N o m b r e des

enfants scolarisés par rapport au nombre total des enfants scolarisables des participants. Ce taux est calculé chaque année pour chaque sexe.

23. Taux d'interruption de la scolarité parmi les enfants des parti­cipants. N o m b r e des enfants des participants qui ont inter­rompu leurs études par rapport au nombre des interruptions de scolarité dans l'ensemble de la population des enfants scola­risés. Ce taux est calculé chaque année pour chaque sexe.

Les indicateurs relatifs à la compétence professionnelle 24. Taux d'adoption des innovations préconisées (recommandé).

Rapport entre le nombre moyen , par individu, des innovations adoptées et le nombre total des innovations recommandées dans le domaine du programme en cause.

25. Niveau du savoir-faire dans les domaines couverts par le pro­g r a m m e . Pourcentage des participants qui ont passé avec succès un ou plusieurs examens professionnels sur le savoir-faire pratique. Plusieurs examens successifs comptent pour un seul examen.

26. Accroissement du désir de changements et d'innovations techni­ques (recommandé). N o m b r e relatif des expressions d'un désir de changement et d'innovation dans un certain nombre de domaines définis au début du programme.

Les indicateurs relatifs à Vutilisation des moyens d"'information collective 27. Possession de postes de radio et télévision; pourcentage des

participants qui possèdent un poste de radio et/ou de télévision par rapport au pourcentage des non-participants qui possèdent ces moyens d'information.

28. Préférence manifestée pour les programmes éducatifs (recom­

mandé) . N o m b r e moyen par participant des émissions de caractère éducatif et technique écoutées ou regardées par le participant.

Les indicateurs concernant la santé, l'hygiène, la sécurité 29. Acquisition de connaissances en matière de santé, d'hygiène

et de sécurité (en particulier pour les programmes destinés aux travailleurs). O n utilisera l'indicateur décrit plus haut (indi­cateurs mesurant le niveau de connaissance, n° 10).

54

Techniques et instruments d'évaluation

Il est évident que cette longue liste d'indicateurs n'est donnée qu'à titre d'exemple. Chaque projet n'en retiendra que ceux qui répondent à ses objectifs, ses préoccupations et ses possibilités. Néanmoins, il serait bon que chaque projet s'efforce, à des fins de comparaisons internationales, de conserver dans les formes décrites ci-dessus les indicateurs statistiques de base qui concernent la participation aux programmes et le niveau de connaissances atteint.

B Groupes expérimentaux et groupes témoins

Les méthodes les plus fréquemment utilisées par les évaluateurs s'appuient sur la mise en évidence (d'où comparaisons) et l'explica-cation (d'où analyses) de changements attendus (d'où hypothèses). La méthode exigera la mise en place de groupes parallèles et iden­tiques dont le premier ensemble servira à l'expérimentation, le second au contrôle. O n bâtira une hypothèse, on mettra en place les moyens de la vérifier et on étudiera les changements qui intervien­dront sur les groupes témoins et expérimentaux, en les comparant avant et après l'expérimentation prévue.

Les groupes devront être appariés et donc semblables sur le plus grand nombre possible de caractéristiques, soit au niveau du groupe, si la recherche porte sur les communautés, soit au niveau des individus, (âge, sexe, niveau économique, etc.), si la recherche porte sur les participants. A titre d'exemple, voici comment on a constitué les groupes dans un des projets du P E M A où l'on avait retenu c o m m e unité statistique la« concession », qui est l'unité sociologique repré­sentative la plus petite.

Plan expérimental

O n avait mis en place pour une zone du projet plantée en coton un échantillon de 64 villages qui devait permettre une évaluation des résultats escomptés au niveau des villages, dans les domaines socio­logiques, économiques et culturels. Les 64 villages retenus sur les 663 inscrits dans le projet de développement comprenaient 32 vil­lages expérimentaux sur les 269 devant être alphabétisés parce qu'ils comptaient au moins un lettré qui pût devenir instructeur, et 32 vil­lages témoins momentanément non alphabétisables faute de remplir cette condition sine qua non1, appariés aux villages expérimentaux en tenant compte de deux variables étrangères supplémentaires,

1. Il va sans dire que seule une carence aussi grave que celle-là peut justifier qu'une communauté locale soit provisoirement privée du bénéfice de l'action fonctionnelle, donc désignée c o m m e groupe témoin.

55

Techniques et instruments d'évaluation

« coton » et « population », retenues au m ê m e titre que la variable expérimentale « alphabétisation ». Cette disposition devait permettre, selon l'auteur1, de «choisir entre l'hypothèse de la conjonction des influences (des variables étrangères à l'alphabétisation), et celle de l'interaction des facteurs ». O n a enfin pris en compte une troisième variable étrangère, la langue. Les quatre croisements des deux m o d a ­lités retenues pour chacune des deux premières variables étrangères (taille de la population du village, intégration à l'économie de marché telle que peut l'indiquer le nombre moyen d'ares de coton cultivés par habitant) sont alors ainsi définis (C = coton; P = population):

C + P + = très cotonniers, très peuplés ( + 5,15 ares de coton par habitant; + 324 habitants)

C + P — = très cotonniers, peu peuplés (+5 ,15 ares coton par habitant; — 271 habitants)

C —• P + = peu cotonniers, très peuplés (—• 2,46 ares coton par habitant ; + 324 habitants)

C — P — = peu cotonniers, peu peuplés (— 2,46 ares coton par habitant; — 271 habitants).

Chacun de ces groupes (qui comprend 8 villages) est encore partagé en deux sous-groupes L + L —, selon que la langue maternelle dominant dans le village est ou non la langue nationale (qui devait être la langue d'enseignement)2. Les villages de l'échantillon ont été, sauf, s'entend, dans les cas où il n 'y avait pas choix, tirés au sort à l'aide d'une table de nombres de hasard parmi les groupes définis par les différentes combinaisons possibles des modalités des variables retenues. O n a ensuite choisi, par échantillonnage systématique sur registre, 10 concessions dans chaque village. L'enquête a donc porté sur 64 villages et sur 634 familles groupées en « concessions », quelques villages irremplaçables ne comptant pas dix concessions.

1. Pierre Clément, «Introduction méthodologique», Comportements socio-économiques et modes de vie en région cotonnière — évaluation initiale (avec Marianne Rupp) . B a m a k o , Projet pilote d'alphabétisation fonctionnelle du Mali, 1972. 2. E n réalité, les modalités de la variable linguistique étaient au nombre de 4 et non de 2 et le plan d'expérience que son introduction avait c o m ­mandé était plus complexe que celui donné ici. Mais un plan avec trois variables étrangères dichotomiques c o m m e ce dernier est déjà suffisam­ment difficile à réaliser sur le terrain (deux variables est souvent un m a x i m u m lorsqu'il s'agit de groupes « naturels ») pour que l'on s'en tienne là.

56

Techniques et instruments d'évaluation

Le dessin expérimental peut être figuré par le graphique ci-dessous:

c+ c — c+ c —

L +

L +

L —

L —

L +

L +

L —

L —

L +

L +

1 i-l

L —

L +

L +

L —

h-l

Echantillon expérimental Echantillon témoin

Homogénéité de Véchantillon

Il était difficile d'apparier davantage villages témoins et villages expérimentaux. Cependant, afin de donner une valeur plus démons­trative aux résultats escomptés, on a procédé de la manière suivante : pour chaque indicateur susceptible d'être utilisé, on a, au cours de l'enquête initiale, recueilli les données correspondantes dans les 64 vil­lages et les 634 concessions. Puis, pour chaque indicateur, on a dressé un tableau d'analyse de variance afin de tester l'homogénéité de l'échantillon relativement à cet indicateur. O n faisait l'hypothèse que les deux échantillons (expérimental et témoin) étaient semblables sur le plan des variables dont on espérait qu'elles se modifieraient sous l'influence de l'alphabétisation. S'il n 'y avait pas de différence significative au seuil choisi, entre les deux échantillons, on conservait l'indicateur. A u cas contraire, une décision était prise sur le rejet, le remplacement ou la conservation de l'indicateur.

C Les échantillons

L a constitution des échantillons est demeurée un des points faibles des enquêtes menées par les évaluateurs du P E M A . Aussi a-t-il semblé utile de rappeler quelques règles essentielles qu'il convient de respecter si l'on désire préparer un échantillon solide. Définir en premier lieu, avec le m a x i m u m de précision, l'unité statis­

tique de l'enquête. Exemples: ouvriers de fond d 'une mine; fileurs et tisserands de 15 à 45 ans de telles usines; épouses de planteurs de coton; ouvriers non qualifiés du bâtiment; petits paysans d 'un périmètre irrigué, etc.

57

Techniques et instruments d'évaluation

Indiquer la taille approximative de la population complète dont on veut extraire l'échantillon.

Si cette population n'est pas homogène, relativement aux critères susceptibles d'influer sur la variable étudiée, répartir la popu­lation en strates adéquates et calculer la proportion de chaque strate.

Choisir le degré de précision qu 'on estime suffisant pour exprimer les résultats.

Choisir les limites de confiance de l'échantillon. Se référer aux tables adéquates qui fournissent la taille de l'échantillon

à retenir, en tenant compte de la taille de la population globale, du degré de précision de l'enquête, et des limites de confiance de l'échantillon.

Pondérer le nombre indiqué par le coefficient de mortalité retenu. Répartir l'échantillon selon les strates.

Tirer au hasard, dans chaque strate, les unités de l'échantillon. Chaque compte rendu d'enquête doit être précédé d 'un court chapitre méthodologique, qui indiquera de façon précise comment l'échantillon a été construit, quels ajustements ont été nécessaires, à quelles modi­fications du plan expérimental on a dû procéder pour s'adapter aux réalités du terrain, quelles difficultés ont été rencontrées, et, en géné­ral, quelle fiabilité on peut accorder aux résultats de l'enquête. Ainsi, l'utilisateur éventuel des données pourra évaluer ses propres risques, qu'il conserve les résultats pour des études ultérieures ou qu'il les rejette.

5 L'analyse des résultats

O n a vu quels sont les instruments et les techniques privilégiés de l'évaluation des programmes d'alphabétisation, on se propose main­tenant d'étudier les méthodes d'analyse les plus fréquemment utilisées. C e qu 'on demande avant tout à Pévaluateur, c'est de décrire, de comparer, d'expliquer, ou plutôt de tenter de trouver une explication.

Décrire, comparer , expliquer

Études descriptives. O n a déjà vu (supra, section 3) l'importance des enquêtes d'étude du milieu et des tableaux statistiques descriptifs. Leur seul examen permet de repérer dans quelle catégorie de par­ticipants, d'instructeurs, de groupes, de programmes un ralentisse­ment des activités ou des progrès se dessine. D e simples calculs de

58

Techniques et instruments d'évaluation

pourcentages permettront déjà de savoir, par exemple, qui fréquente les cours le plus assidûment, qui les abandonne, qui obtient les meil­leurs résultats, dans quelle région, avec quels instructeurs, pour quels programmes, etc.

Ces études, dont on trouvera de nombreux exemples dans les chapitres spécialisés qui suivent, permettront d'ordonner les groupes sans qu'on puisse affirmer cependant qu'ils diffèrent significative-ment. Elles peuvent servir de révélateur et rendre possibles certains ajustements d'ordre pédagogique ou institutionnel.

Études comparatives. Les plus intéressantes sont les études diachro-niques. Elles permettent de calculer dans quelle mesure il y a progrès ou recul. Les études comparatives opérées sur un m ê m e tableau permettent de vérifier si un résultat se détache des autres, dans le sens positif ou négatif, et en diffère significativement. Des épreuves statistiques simples, utilisées pour le traitement des données, four­niront des indications très riches sur le plan des comparaisons: comparaison des moyennes, des fréquences, des variances, recherche des liaisons par l'étude des coefficients de corrélation, etc.

Études analytiques. Au-delà de la description et de la comparaison synchronique ou diachronique, l'analyse et la recherche explicative seront entreprises aussi bien en évaluation interne qu'en évaluation externe. A partir d'hypothèses simples ou de modèles théoriques explicatifs, on tentera de comprendre ce qui s'est passé, quelle a été l'importance des inputs respectifs dans le résultat final observé, et, si possible, on proposera des modifications pour améliorer soit la situation existante (par rétroaction régulatrice), soit une nouvelle action à entreprendre (dans une optique modélisante).

Les études analytiques seront le plus souvent basées sur l'exa­m e n des variations relevées sur les divers indicateurs, variations que l'on associera ou opposera en en recherchant les liaisons éventuelles. Le processus pourrait être le suivant: on construit un modèle théori­que explicatif, on le scinde en hypothèses de premier ordre qu'on désagrège en hypothèses simples mettant en jeu des indicateurs peu nombreux dont on connaît les variations (avec/sans; avant/après; ¡nter/intra; etc.). O n utilise enfin les moyens statistiques adéquats qui confirment ou infirment les hypothèses élaborées.

Les hypothèses

C o m m e n t élaborer une hypothèse et c o m m e n t la vérifier? Prenons un exemple tiré de l'hypothèse centrale proposée dans l'Introduc­tion pour un projet débutant. Il y est dit qu'on a l'intention d'alpha­bétiser N femmes par un enseignement donné en partie par radio.

59

Techniques et instruments d'évaluation

O n voudrait savoir si l'enseignement par radio est rentable et, s'il l'est, pour quelles catégories de participants. L'hypothèse pourra être ainsi explicitée: « L'enseignement est plus efficace quand il s'accompagne d'une diffusion par radio sur le m ê m e t h è m e . »

L'évaluateur devra imaginer divers procédés pour vérifier l'hypothèse, et choisir celui qui convient le mieux à la situation, qui sera le plus simple, le moins cher, le plus rapide, etc. Voici quelques propositions: O n compare les résultats de fin de cycle de centres qui ont suivi les

émissions à ceux des centres qui n'ont pas de radio (consti­tution d'échantillons appariés; calcul des taux moyens de réussite aux tests; calcul de différences de moyennes, etc.).

A partir du contenu du programme éducatif, on bâtit un test sur la matière enseignée par radio, test qu'on fait passer dans des conditions identiques à deux groupes de participants (échan­tillon témoin et échantillon expérimental).

O n construit un test de connaissances sur la matière enseignée par radio telle semaine (hygiène de l'alimentation, par exemple), et un autre test de m ê m e niveau sur une matière enseignée uniquement par l'instructeur (sur l'hygiène de l'enfant, par exemple). O n fait passer ces deux tests aux m ê m e s participants (qui ont tous écouté l'émission) une semaine après l'émission, puis deux mois après. O n étudie la rétention pour chaque groupe des connaissances enseignées (sans radio, avec radio).

O n présente un questionnaire aux participants, afin qu'ils donnent leur avis sur les difficultés de compréhension de l'émission, l'intérêt, la durée, l'horaire, la fréquence, etc., et on en tire une analyse d'items.

O n peut pousser l'analyse statistique en essayant de savoir quelle catégorie de femmes retire le m a x i m u m de profit de ces émissions: les plus jeunes ou les plus âgées, les célibataires ou les épouses, les femmes qui travaillent ou celles qui n'ont pas d'emploi rémunéré, etc. O n construira alors les groupes selon les caractéristiques rete­nues, qu'on peut retrouver sur les tableaux proposés au chapitre IV, section 3. D'après les résultats obtenus, on jugera s'il faut améliorer les émissions, les rendre plus ou moins fréquentes, les généraliser, les supprimer, etc.

O n trouvera en annexe un certain nombre d'hypothèses for­mulées dans le cadre de l'évaluation globale du P E M A . Cet ensemble peut être considéré c o m m e un solide inventaire de base. O n pourra s'en inspirer avec profit, sans toutefois se sentir engagé, si l'on décide d'en tester quelques-unes, à les conserver dans la formulation qui en est donnée. Elles sont reproduites ici à titre d'exemples.

60

Les études préliminaires III

N o u s nous proposons, dans la suite de cette étude, de décrire pour chaque type d'évaluation (voir chap. I, section 1) le but de l'évaluation de ce type, les domaines qu'elle couvre, les instruments qu'elle utilise (avec un ou plusieurs modèles de documents dont on pourra s'ins­pirer), et quelques exemples d'études descriptives, comparatives ou explicatives qu 'on pourra entreprendre à partir des données recueillies.

1 But et domaines couverts Avant d'évaluer les résultats d 'un projet d'alphabétisation, l'évalua-teur aura pour première tâche d'apporter les éléments d'information concernant les participants et leur environnement, sans lesquels l'action d'alphabétisation ne peut être entreprise sans risque. Ces études préliminaires sont nécessaires aussi bien pour les programmes expérimentaux que pour les programmes opérationnels. Les prin­cipales sont relatives à: la définition explicite des objectifs du projet; la faisabilité de l'action d'alphabétisation; l'étude du milieu; la recherche des problèmes qui se posent aux participants éventuels, et dont l'ensemble peut fournir la matière du contenu du programme d'enseignement.

C'est au cours de cette étape que sera mis au point le système de planification du travail de l'équipe d'évaluation.

61

Les études préliminaires

2 Explicitation de la définition des objectifs du projet1

U n e évaluation d'un projet se fait par référence à deux points fixés avant d'entreprendre l'action: un point de départ qui sera défini par la description de la situation des participants éventuels dans leur milieu naturel — social, économique, culturel — et un point d'objectif qui sera la définition de la situation présumée, espérée, de ce m ê m e milieu, par les responsables qui prennent la décision d'alphabétiser. Le rôre de l'évaluation sera de mesurer, d'une part, l'espace parcouru entre le point de départ et le point d'arrivée (quand le programme d'alphabétisation sera terminé) et, d'autre part, la distance positive ou négative qui risque d'apparaître entre le point d'arrivée et le point d'objectif. O n pourra ainsi calculer la proportion dans laquelle les objectifs fixés par les instances politiques ont été réalisés.

Pour y parvenir, l'évaluateur doit rejeter toute définition des objectifs appréciés en termes généraux c o m m e « éradiquer l'analpha­bétisme; mener à bien la croisade contre l'analphabétisme; promou­voir la f e m m e parson éducation; augmenter la croissance économique par l'alphabétisation; etc.». Il convient donc de définir les objectifs en termes précis et, quand on le peut, en termes quantifiés, qui pourraient répondre aux questions qui?, combien?, où?, quand?, c o m m e n t ? , pourquoi?

Ces précisions peuvent être obtenues par l'interview de res­ponsables politiques ou administratifs (rechercher le plus haut niveau de responsabilité possible) dans trois directions: au niveau gouvernemental ou ministériel, auprès de l'organisme de développe­ment auquel est lié ou est intégré le projet, auprès des autorités nationales responsables du projet. Q u a n d tous les objectifs sont très explicitement définis, on les fait figurer dans un « plan d'opérations », qu'il est souhaitable de faire signer conjointement par des représen­tants des trois instances qu'on vient de citer. Les objectifs seront alors définis c o m m e particuliers et spécifiques du projet, si possible par référence à des objectifs précisés par des plans nationaux et/ou des organismes de développement économique ou social.

Il sera très utile de rassembler, dans le m ê m e temps, toutes les informations qui ont aidé à déterminer les objectifs: études de toutes sortes, statistiques, etc. (voir chap. Il, section 2).

1. Voir, pour plus de détails, Évaluation globale du PEMA (document technique II), Le cadre institutionnel des projets expérimentaux, Unesco, 1975.

62

Les études préliminaires

Les renseignements à recueillir doivent porter sur les points suivants:

i) La région géographique (telle plaine, telle ville) ou adminis­trative (gouvernorat, préfecture, district). Combien de villages? Quelle superficie? etc.

ii) Les populations concernées: f emmes , h o m m e s , adolescents, enfants; travailleurs salariés, industriels, artisanaux, contremaîtres, agriculteurs devant changer de statut, travailleurs agricoles indépen­dants ou salariés, jeunes sans emploi, etc., épouses de travailleurs agricoles ou industriels, mères de famille, femmes enceintes, ouvrières d'ateliers industriels ou artisanaux, etc. D e quel âge, combien (en n o m b r e brut ou en pourcentage de la population)?

iii) Les établissements cibles: grands domaines agricoles indé­pendants ou coopératifs, petite agriculture faisant l'objet d'une réforme agraire, d'un p r o g r a m m e de vulgarisation agricole; petite polyculture ou grande monoculture dans un périmètre irrigué; agri­culture de subsistance, zone de colonisation agricole; entreprises de construction industrielle, petites industries faisant l'objet d'un plan de développement, d'un p r o g r a m m e de formation professionnelle; etc.; artisanat domestique, rural, touristique, etc.

iv) Les objectifs spécifiques économiques et/ou sociaux pour­suivis. O n s'efforcera, le plus souvent qu'on pourra, d'obtenir une quantification de ces objectifs. Dans le domaine agricole, par exemple, accroissement (de combien?) de la production agricole (laquelle? dans quel produit?), amélioration de la qualité des produits, adop­tion de nouvelles techniques, de nouveaux produits (lesquels?); transformation des méthodes de travail, des conditions de produc­tion, développement de la diversification de la production, etc.

Dans le domaine artisanal et industriel, accroissement de la production, amélioration de la qualité du produit, de la productivité dans tel domaine, de l'hygiène et de la sécurité, apprentissage pré­professionnel, etc.

Dans le domaine social, transformation du m o d e de vie et de travail domestique, des attitudes; amélioration de l'hygiène, de la santé, de l'alimentation des enfants, etc.

v) L'époque: prévision des dates de départ de l'action, de sa durée; rythme annuel, etc. — si possible en référence aux plans de développement.

vi) Le concept d'alphabétisation retenu. Il sera bon de faire pré­ciser le mode d'alphabétisation retenu qui pourra être considéré c o m m e : Devant uniquement apprendre à lire, à écrire, à compter à une popu­

lation très large et non spécifique ; Devant avant tout apprendre à lire, à écrire, à compter à une popu-

63

Les études préliminaires

lation intéressée à un projet de développement qui est chargé de donner parallèlement une formation professionnelle ou sociale ;

Devant intégrer l'alphabétisation dans un enseignement profes­sionnel;

Devant donner avant tout une formation — ou un perfectionne­ment — professionnelle et/ou sociale, complétée par une action d'alphabétisation qui s'intègre à tous les niveaux de la formation envisagée.

O n précisera également, dès le début, en termes très exacts, les définitions que le projet donne, dans son contexte, de l'analphabète, du semi-analphabète, du néo-alphabète, de la postalphabétisation.

vu) L'autorité chargée de vérifier (à moyen ou à long terme) s'il y a coïncidence entre les objectifs de formation mis au point (pro­g r a m m e s , matériels d'enseignement, etc.), d'une part, et les objectifs généraux assignés au projet, d'autre part. Cette autorité pourrait être un Comité national d'alphabétisation composé paritairement de représentants gouvernementaux ou ministériels, de représentants de l'organisme de développement auquel est lié le projet, de repré­sentants des autorités responsables du projet et de représentants de l'équipe m ê m e du projet.

3 Faisabilité de l'action

Il s'agit essentiellement de mener une étude susceptible d'apporter aux responsables du projet les éléments nécessaires à une prise de décision concernant le lancement éventuel d'une action d'alphabéti­sation soit dans une zone délimitée, soit auprès d'une certaine caté­gorie de participants. Les études porteront sur les points suivants:

i) La volonté politique d'encourager ou d'appuyer une action d'alphabétisation dans le but de transformer le milieu. O n cherchera à savoir si cette volonté politique s'exprime à tous les niveaux (central, régional, local), par exemple par des interventions et discours des responsables du gouvernement, relatifs à l'alphabétisation; si cette volonté politique s'est traduite par des décisions prises dans un cadre juridique défini, telles que lois, décrets, ordonnances, décisions gou­vernementales, circulaires ministérielles, arrêtés, etc.; quelle est la nature (et l'importance) de l'appui gouvernemental (autre que finan­cier et administratif) ou non gouvernemental: rang du directeur du projet dans la hiérarchie administrative et dans l'organigramme des

64

Les études préliminaires

liaisons avec l'organisme de développement; enfin le degré de parti­cipation des organisations non gouvernementales — syndicats, orga­nisations de femmes, Églises, étudiants, etc. — et des partis politiques.

ii) Le degré d'autonomie du projet. Si le projet est entièrement autonome et indépendant de toute organisation ministérielle, ou économique, il y aura de fortes chances pour qu'il ne puisse longtemps survivre. Il est important que le projet soit autonome dans son action d'alphabétisation, mais que des liaisons étroites existent, d'une part, avec un ministère, d'autre part, avec une opération de développement. Il s'agira alors de percevoir quel est le degré d'intégration du projet dans le ministère de tutelle et dans l'organisme de développement dont il peut être un élément. O n dessinera un organigramme qui montrera l'importance et la nature des liaisons administratives et gestionnaires entre les trois entités. L a connaissance des degrés et niveaux d'autonomie et d'intégration réciproques permettra de déceler les sources éventuelles de conflits (d'autorité entre autres), les contradictions possibles, l'absence de rationalité dans certains cas — par exemple, le projet peut-il, dans le cadre prévu, se dérouler conformément aux impératifs méthodologiques, logiques, chrono­logiques de l'alphabétisation fonctionnelle ?

iii) Les ressources financières et matérielles sont-elles suffi­santes ? Leur répartition dans le temps est-elle conforme aux exi­gences de la planification du projet ? Les postes budgétaires au minis­tère de tutelle sont-ils prévus en nombre suffisant ? L'appui matériel et financier de l'organisme de développement associé est-il assuré pour toute la durée du projet (mise à la disposition du projet de locaux, de matériel de transport, d'instructeurs, paiement d'heures supplémentaires, autorisation d'assister aux cours pendant les heures de travail, par exemple, etc.) ?

iv) Les ressources humaines nécessaires existent-elles au niveau local ? Trouvera-t-on l'appui administratif prévu au niveau régio­nal ou local ? Les instructeurs locaux sont-ils en nombre suffisant ? L'appui de la population et des notables locaux est-il assuré (par exemple, participation bénévole à la construction du local d'alpha­bétisation, création du comité local d'alphabétisation) ?

v) Les enquêtes de motivation. Ces enquêtes ont un double objectif. D'abord déterminer quels sont les villages (ou quartiers) dont les habitants sont favorables à une action d'alphabétisation et, quand ils le sont, essayer de déterminer quelles sont les motivations qu'ils prétendent avancer en faveur du développement, quels avan-

65

Les études préliminaires

tages ils pensent tirer de la lecture et de l'écriture, enfin quelles dif­ficultés ils prévoient dans cet apprentissage.

En second lieu, essayer d'obtenir la collaboration des villageois dans l'élaboration d'un programme d'alphabétisation fonctionnelle. En effet, un tel programme peut être établi à partir de deux sources. La première peut être la programmation décidée par les diverses opérations de développement économique et social implantées dans la région. C e programme décide des transformations à opérer dans les mentalités, les modes de vie et de travail des paysans. Ces préoc­cupations tiennent compte du paysan surtout en tant que homo economicus. La deuxième source peut naître du paysan lui-même qui exprime ses désirs, ses doutes, ses difficultés, les besoins qu'il ressent actuellement. Inscrire dans un programme d'alphabétisation, et en priorité, une partie ou la totalité du catalogue des connaissances que les villageois voudraient acquérir humanise ce programme, le rend plus proche du paysan que du technicien.

Pour mener cette enquête, on procédera soit par interview d'un échantillon de participants éventuels, soit par réunions collec­tives dans les régions où l'individu a l'habitude de s'exprimer au sein de son groupe. Mais pour éviter les inhibitions, les refus de s'expri­mer dus au sexe, à l'âge ou à la position sociale, on a intérêt, dans la mesure du possible, à tenir des assemblées homogènes en groupant à part d'abord les notables, puis les h o m m e s , puis les femmes, puis les jeunes.

O n m è n e l'enquête sous forme d'interviews centrées sur les thèmes suivants: Pourquoi les paysans veulent-ils apprendre à lire et à écrire? à

compter et à calculer? Q u e veulent-ils apprendre en dehors de l'écriture et de la lecture,

du calcul? Quels avantages pensent-ils tirer de l'alphabétisation? Dans quelles circonstances ont-ils pu se trouver en état d'infériorité

parce qu'ils étaient analphabètes? Est-il, à leur avis, difficile d'apprendre? Existe-t-il, dans leur environnement, des raisons susceptibles de

contrecarrer leur volonté de s'alphabétiser? O n analyse ensuite les réponses par sexe et tranche d'âge selon les diverses couches sociales. O n complétera cette enquête par la recherche du degré de motivation, en faveur ou à rencontre de l'alphabétisation, des responsables locaux de l'administration et des organismes de développement intéressés.

vi) Étude du milieu. Il s'agit de rassembler par village, c o m m u ­nauté ou quartier de zone urbaine, un ensemble de renseignements qui devra permettre, d'une part, de dresser la carte d'identité de

66

Les études préliminaires

chaque communauté , d'autre part, de fournir les éléments qui ren­dront possible le choix des indicateurs qui formeront l'enquête de base, l'instant T° de l'action d'alphabétisation. O n pourra ainsi choisir les villages qui seront alphabétisés (expérimentaux), et les villages qui seront appariés aux premiers témoins pour servir aux études comparatives (voir chapitre II, section 4). O n trouvera en chapitre II, section 3, le squelette d'une enquête pouvant servir d'exemple pour une étude du milieu.

Ces renseignements sont relevés par observation directe, ou auprès des autorités officielles, ou auprès des techniciens en poste dans les villages. Pour ce qui concerne les caractéristiques des habi­tants, on peut procéder par sondage, l'unité de sondage étant l'indi­vidu ou, mieux encore, la maison dont on interrogera tous les habi­tants de plus de quinze ans, qui seront également soumis au test « échelle d'alphabétisation » (voir doc. 5). Enfin, pour les programmes agricoles, on relèvera pour chaque culture (ou cueillette) impor­tante des renseignements sur le développement de la plante et les travaux importants, afin de préciser le calendrier agricole: Phases phénologiques: succession, datation et durée; Opérations culturales; enumeration, importance, intensité du travail,

datation et durée; Travaux ruraux non agricoles: enumeration, importance, intensité

du travail, datation et durée. Tous ces renseignements ainsi recueillis, on peut alors émettre une hypothèse raisonnable sur la faisabilité ou la non-faisabilité du projet en général, dans des zones particulières ou des milieux spécifiques. Pour chaque communauté , on donnera un avis sur les chances de succès d'une action d'alphabétisation en citant les éléments favo­rables décelés, tels que: existence d'une motivation réelle et pro­fonde; importance des demandes d'acquisition de connaissances dans les domaines économiques et sociaux; existence d'alphabéti-seurs éventuels (nombre, n o m , et niveau de connaissances); exis­tence d'une structure villageoise organisée; possibilités d'obtenir un local pour les cours; facilités de communications; existence d'une infrastructure d'appui; soutien des autorités et/ou des techniciens locaux; volonté de collaboration des responsables administratifs et des organismes locaux de développement; etc.

Ainsi que les éléments défavorables tels que: taux d'analpha­bètes trop élevé; effort d'animation rurale faible ou nul; niveau sani­taire et alimentaire trop bas; accès difficile, infrastructure nulle ou insuffisante; absence d'incitation au développement; opposition des notables; «interdits» trop forts ou trop n o m b r e u x ; population hostile aux changements, etc.

67

Les études préliminaires

4 Définition du contenu d'un programme d'alphabétisation

L'évaluateur vient de définir avec précision les objectifs à atteindre (cette connaissance lui sera indispensable au m o m e n t de faire le bilan de l'action d'alphabétisation) et, par l'étude de faisabilité, il a une idée assez précise des chances de succès de l'opération soit globale, soit particulière à une zone délimitée ou à une popula­tion déterminée. Toutes ces études fournissent également aux autres équipes du projet (direction, formation, méthodologie) des renseignements qui leur seront indispensables. Il reste maintenant à faire l'inventaire des « problèmes» qui se posent à la population ou aux techniciens du développement, dont la solution permettrait aux individus concernés de transformer de façon favorable leur genre de vie, d'améliorer leur niveau de vie, de devenir des participants effectifs dans l'effort de développement économique et social du pays1. Cette recherche des problèmes, des freins, rendra possible l'élaboration des programmes d'alphabétisation fonctionnelle. Elle est indispensable aux méthodologues, c'est donc en étroite collabo­ration avec eux qu'on réalisera l'étude.

Le p r o g r a m m e d'alphabétisation

A partir d'objectifs spécifiques définis par les enquêtes décrites ci-dessus en section 2, les méthodologues vont constituer des pro­grammes diversifiés pour répondre aux besoins particuliers: D 'une zone géographique parfaitement définie: urbaine ou rurale,

savane, forêt, littoral maritime ou lacustre, plaine irriguée, etc.; D 'une zone administrative (province, district, etc.); D 'une aire culturelle définie (langue, ethnie); D 'un secteur économique ou social défini (monde rural, branche ou

secteur industriel, les chômeurs, les femmes, etc.); D 'une formation professionnelle générale (polyculture, problèmes

industriels, promotion de la f e m m e , etc.); D 'une formation professionnelle bien déterminée (tissage, moteurs,

culture du coton, etc.); D 'un perfectionnement professionnel très diversifié (amélioration de

la riziculture, entretien des machines, puériculture, etc.). O n pourra, s'il en est besoin, combiner ces propositions. Les divers programmes pourront être conçus: C o m m e entièrement différents suivant la formation professionnelle

envisagée et la zone géographique, administrative et culturelle

1. Voir «Hypothèse centrale de l'alphabétisation fonctionnelle», cha­pitre I. 1 ci-dessus.

68

Les études préliminaires

choisie, mais composés de modules (courts ensembles de séquences portant sur un sujet identique) transposables d'un programme à un autre.

C o m m e entièrement différents, c o m m e ci-dessus, mais non struc­turés en modules.

Avec un tronc c o m m u n plus des séquences particulières à chaque type de formation envisagé.

C o m m e absolument identiques, quels que soient la zone couverte, la population envisagée, les métiers des participants.

L'ordre indiqué ci-dessus est préférentiel, car il reflète le degré de fonctionnalité des programmes qu'on voudra élaborer pour le projet.

La recherche des problèmes

Pour aider à établir les programmes, l'unité d'évaluation procédera à une série d'enquêtes, d'études, qui devront être réalisées auprès des autorités compétentes administratives et professionnelles ainsi qu'auprès des groupes de population concernés. Elles s'orienteront dans les directions suivantes:

i) Les intéressés diront les problèmes qu'ils rencontrent et les modifications de leur genre de vie qu'ils souhaitent voir se réaliser. Ils subiront également des tests qui permettront de procéder à l'inventaire des connaissances intellectuelles et techniques de l'en­semble de la population envisagée.

ii) Les contremaîtres, techniciens, ingénieurs, cadres, respon­sables des opérations de développement économique et social — de l'agriculture, de l'industrie, de l'artisanat, etc. — dresseront l'inven­taire des problèmes technico-professionnels, socio-économiques ou autres, qui constituent des freins ou des obstacles au développement économique et social recherché, par exemple:

Manque de connaissances intellectuelles: savoir lire, compter, mesu­rer, calculer une superficie, établir un pourcentage, lire un croquis, un diagramme, etc. Faire préciser au m a x i m u m .

Manque de connaissances professionnelles: conduite ou réglage d'une machine, etc.

Manque de conscience professionnelle: absentéisme, etc. Non-respect des normes de sécurité. Insuffisance du savoir-faire.

Difficulté — ou refus — d'adopter, dans le m o n d e agricole par exemple, de nouvelles techniques de travail (irrigation, utili­sation d'engrais, double culture, etc.) ou de nouveaux produits (variétés à haut rendement), etc.

Attitudes et comportements anti-modernistes. Etc.

69

Les études préliminaires

¡ii) Les divers administrateurs régionaux ou techniciens fonc­tionnaires (médecins, hygiénistes, vétérinaires, spécialistes de l'habi­tat, des travaux ruraux, de l'éducation des enfants, inspecteurs du travail, etc.) indiqueront les modifications qu'ils souhaiteraient voir apparaître dans le m o d e de vie des analphabètes, ces modifications reflétant les décisions gouvernementales relatives à la croissance du développement économique et/ou social de ces populations.

iv) Les divers techniciens — en matière d'agriculture ou d'élevage, d'industrie ou d'artisanat, de santé, d'hygiène ou d'ali­mentation, de l'habitat rural, etc. — fourniront des monographies techniques ou des ouvrages de vulgarisation destinés à provoquer des améliorations ou à corriger les gestes ou attitudes défectueux relevés dans la profession ou le m o d e de vie. Ces études devront indiquer pour chaque poste de travail la liste des capacités ou apti­tudes requises des participants pour résoudre les problèmes iden­tifiés ou surmonter les obstacles décelés, afin d'obtenir le m a x i m u m d'efficacité dans le travail.

Tous les éléments de cet inventaire proviennent, pour la plu­part, des enquêtes préalables qu'on a menées jusqu'ici: interviews des responsables administratifs et techniques; études du milieu, observations in situ; monographies techniques; enquêtes de moti­vation; résultats des « échelles d'alphabétisation»; étude des divers documents rassemblés.

Inventaire des problèmes

O n classe ensuite tous les éléments en grands domaines en essayant, pour chaque item, de donner le niveau de priorité qui lui aura été accordé par le participant et par le technicien, et qui peut être inverse selon qu'on l'examine du point de vue du participant ou du techni­cien: par exemple, la vitesse de la production (les« cadences») dans les ateliers. O n séparera les «freins» qui ont leur source dans l'environnement de ceux qui reflètent un manque de connaissances et de ceux qui tiennent au comportement des individus. Cette clas­sification a l'avantage de présenter aux méthodologues un catalogue détaillé qui devrait permettre de construire des programmes susceptibles d'aider les participants:

A agir sur leur environnement pour: améliorer l'habitat — étan-chéité, lutte contre le froid ou le chaud, construction de cuisines, ouverture de fenêtres, etc.; assainir la maison (brûler les ordures, construire des toilettes, lutter contre les moustiques); aménager l'environnement (construire un pou­lailler, créer un jardin potager, planter des arbres, couper les mauvaises herbes (serpents); améliorer la qualité de l'eau (aménager la source, le puits, utiliser un filtre); etc.

70

Les études préliminaires

A acquérir des connaissances: d'ordre instrumental: lire, écrire, compter, calculer; d'ordre technologique ou professionnel; d'ordre médical ou sanitaire ou alimentaire; d'ordre culturel, historique, géographique, social; d'ordre scientifique; d'ordre politique ou civique ou syndical; d'ordre économique: pro­duction, productivité, revenus, niveau de vie; etc.

A modifier leurs attitudes dans le but de: lutter contre les « inter­dits» et les superstitions; chercher à combattre la tendance à refuser la technique et l'innovation technologique; adopter de nouveaux comportements à l'égard de l'éducation des enfants, de l'hygiène, de la planification familiale, etc.; déve­lopper les aspirations relatives à la recherche d'une meilleure vie, d'une meilleure qualification du travail pour eux et leurs enfants; s'intéresser davantage au fonctionnement de l'orga­nisation sociale dont ils font partie, et d'y participer plus acti­vement; etc.

A ce m o m e n t de l'action, le méthodologue dispose, pour élaborer le curriculum des programmes, des éléments suivants que l'évaluateur aura réunis à son intention: Résultats des enquêtes sur la spécification des objectifs à atteindre

par le projet; Résultats des études du milieu; Résultats des enquêtes sur les motivations; Résultats des enquêtes d'identification des problèmes; Résultats des études sur les aptitudes exigibles des participants; Résultats des enquêtes sur le niveau des connaissances intellectuelles

et technologiques des participants. Il s'agira alors pour lui, connaissant les ordres de priorité des pro­blèmes donnés par les diverses personnes interrogées, de hiérarchi­ser les problèmes, ou de les classer dans l'ordre de leur solution dans le processus d'apprentissage en essayant d'harmoniser: Les exigences des organismes chargés du développement (l'éco­

nomique); Les exigences internes des situations socio-professionnelles (le

social); Les exigences des principes didactiques des différentes disciplines

prévues (le pédagogique). Selon les situations, on donnera une priorité plus ou moins accentuée à l'un ou l'autre de ces points.

71

Les études préliminaires

5 Planification de l'action

O n a déjà pu voir combien l'action de l'évaluateur est variée, com­plexe, intégrée, mais aussi intégrante. Basée sur l'observation et la comparaison, l'activité de l'évaluateur se déroulera de façon que la chose observée doive obligatoirement évoluer dans le temps prévu pour la comparaison. C'est pourquoi l'évaluateur doit s'imposer de planifier son action en tenant compte des impératifs découlant de la logistique et de la pédagogie. Mais il est non moins indispensable que ses partenaires respectent certains impératifs méthodologiques spécifiques de l'évaluation, particulièrement ceux qui touchent à ses aspects scientifiques et, en tout premier lieu, à l'établissement et à la conservation de variables pures. Aussi la concertation entre les responsables chargés de la direction de la méthodologie et de l'éva­luation doit-elle être constante et étendue à de nombreux domaines.

Dès le début de l'action, l'évaluateur devra élaborer un plan de travail détaillé et le soumettre à ses partenaires dans l'action, afin d'obtenir d'eux critiques et aménagements, mais aussi engagement d'aider l'évaluateur à se tenir dans les limites du plan.

Le diagramme 1 ci-après présente un réseau décrivant la plani­fication d'une action d'évaluation d 'un programme d'alphabétisation fonctionnelle. Il ne présente que les étapes les plus importantes de cette action. O n n 'a pas indiqué les temps entre les étapes, ces temps étant fonction des situations particulières.

Définition des étapes du diagramme de planification

a) Enquêtes préliminaires

1. Nomination du responsable de la section d'évaluation. 2. Recrutement des membres de la section d'évaluation. 3. Formation des membres de l'équipe. 4. Planification des enquêtes préliminaires. 5. Planification de l'enquête concernant la fixation des objectifs. 6. Recherche des documents nécessaires à cette enquête. 7. Réalisation des interviews prévues par l'enquête. 8. Rédaction des conclusions de l'enquête « fixation des objectifs ». 9. Planification de l'enquête de faisabilité.

10. Interview des responsables politiques. 11. Interview des responsables des organisations de développement. 12. Interview des responsables des organisations non gouvernementales. 13. Planification de l'enquête d'étude du milieu.

72

Les études préliminaires

a) Enquêtes préliminaires '

o—<D-^o

0 <D^—©-<©•—j0-

-©^©

b) Évaluation interne du premier cycle (phase expérimentale)

1) Évaluation du rendement quantitatif

^ @ .@ .@ 0̂ 0 _ 0 ^ -<3 © J Évaluation du rendement qualitatif

m ) Evaluation des effets de la logistique

-©—©—©^©-©-(¿$ ©

^ © -v) ¿valuation des contenus de progiammcs

0 0 . @ 0 ©)<^© ~© <

0 ^0 .0 c) Evaluation externe du premier cycle (enquête in tei média ire 1

© - © - © - © - © - G d) Evaluation du .second cycle expérimental

'©:: ^

-©' - Évaluation interne du second cycle-

-—Évaluation externe du second cycle

e) Évaluation du programme opérationnel

* - C S 5 ) Contrôle statistique —

"*" Í « 6 ) Évaluation pédagogique

87 ) Controle de l'impact socio-économique

Diagramme 1. Réseau décrivant la planification de l'évaluation d 'un programme d'alphabétisation fonctionnelle

73

Les études préliminaires

14. Réalisation de l'enquête « motivations ». 15. Réalisation de l'enquête dans les communautés. 16. Réalisation de l'enquête « niveau d'alphabétisation ». 17. Rédaction de l'étude du milieu. 18. Publication des résultats de l'enquête de base. 19. Conclusions de l'enquête de faisabilité. 20. Choix des zones et des populations qui seront concernées. 21. Élaboration du curriculum. 22. Mise au point des tests hebdomadaires et de fin de cycle. 23. Formation des instructeurs. 24. Recrutement des participants et mise en place des groupes d'alphabéti­

sation.

b) Évaluation interne du premier cycle d'alphabétisation (phase expérimentale)

i) Évaluation du rendement quantitatif

25. Mise en place du plan expérimental du premier cycle d'alphabétisation. 26. Mise au point du plan d'évaluation du rendement quantitatif. 27. Explicitation des hypothèses à vérifier et des tableaux des données à

recueillir. 28. Choix des critères. 29. Choix des indicateurs et mise au point. 30. Établissement de la périodicité des mesures. 31. Mise au point des instruments de mesure et expérimentation. 32. Relevé périodique des statistiques. 33. Rassemblement puis étude au niveau régional, puis central. 34. Publication des tableaux statistiques. 35. Études approfondies sur le rendement quantitatif. 36. Action en retour sur le déroulement du programme.

ii) Evaluation du rendement qualitatif

37. Mise au point du plan d'évaluation du rendement qualitatif. 38. Explicitation des hypothèses à vérifier et des tableaux des données à

recueillir. 39. Choix des critères. 40. Choix des indicateurs et mise au point. 41. Mise au point des instruments de mesure. 42. Construction et expérimentation des tests. 43. Décision concernant la périodicité des mesures. 44. Mise au point des études sur échantillons. 45. Tirage des échantillons pour les enquêtes par sondage. 46. Études approfondies sur le rendement qualitatif. 33, 34 et 36. Action en retour sur le déroulement du programme.

iii) Évaluation des effets de la logistique

48. Mise au point du plan d'évaluation des effets des composantes logistiques du projet. Liste des tableaux à dresser et des hypothèses à vérifier.

74

Les études préliminaires

49. Choix des critères et des indicateurs. Mise au point. 50. Tirage des échantillons pour les enquêtes par sondage. 51. Mise au point des instruments et relevé des données. 52. Publication des tableaux statistiques et études descriptives. 53. Mise en relation avec les données des études du rendement quantitatif

et qualitatif. 54. Études approfondies sur l'évaluation des composantes logistiques du

programme. 34,36. Action en retour sur le déroulement du p rogramme.

iv) Évaluation des contenus de programme

56. Mise au point du plan d'évaluation des contenus de programme. 57. Explicitation des hypothèses à vérifier relatives à l'adéquation aux objec­

tifs du projet et aux populations concernées. 58. Mise au point des questionnaires pour jugements d'experts. 59. Réalisation des enquêtes relatives aux jugements d'experts. 60. Publication des résultats et mise en relation avec les résultats des études

sur l'évaluation interne. 61. Explicitation des hypothèses à vérifier relatives au déroulement d u

programme. 62. Relevé des données et publications des résultats. 63. Mise en relation avec les résultats de l'évaluation du rendement quanti­

tatif et qualitatif. 55. Publication des études explicatives sur le rendement quantitatif et quali­

tatif des cours et sur les effets de la logistique et le déroulement des cours. 65. Explicitation des hypothèses relatives aux principes pédagogiques de la

méthode d'alphabétisation fonctionnelle, aux méthodes de la pédagogie spéciale et au matériel utilisé.

66. Mise en place des échantillons et réalisation des diverses expérimentations. 67. Résultats des expérimentations et mise en relation avec les résultats des

recherches réalisées en amont. 64. Publication des résultats des expérimentations relatives à l'évaluation des

contenus de programme. 36. Action en retour sur le déroulement du programme. 68. Synthèse des résultats sur l'évaluation interne du premier cycle d'alpha­

bétisation.

c) Évaluation externe du premier cycle (enquête intermédiaire)

69. Mise au point du plan général de l'évaluation externe du premier cycle (enquête intermédiaire). Pour chacun des grands domaines de l'évaluation externe :

70. Explicitation des hypothèses à vérifier. 71. Choix des critères, indicateurs, indices. 72. Constitution des groupes témoins et expérimentaux. 73. Mise au point des instruments —• Périodicité des mesures. 74. Mesures initiales. 75. Mesures périodiques. 76. Mesures finales de la phase intermédiaire.

75

Les études préliminaires

77. Publications des tableaux statistiques et des études descriptives. 78. Études comparatives. 79. Mise en relation avec les résultats de l'évaluation interne. 80. Publication des résultats relatifs à la vérification des hypothèses. 81. Action en retour sur l'élaboration du p r o g r a m m e du premier cycle.

d) Évaluation du second cycle expérimental

82. Mise au point du plan général d'évaluation interne et externe du second cycle d'alphabétisation qui pourra se dérouler sur le m ê m e type.

83. Publication des résultats de l'évaluation du p r o g r a m m e expérimental et décisions concernant la mise en forme et la mise en œuvre du p r o g r a m m e opérationnel.

e) Évaluation du programme opérationnel

84. Plan général de l'évaluation du programme opérationnel. 88. Publication des résultats, cycle après cycle, application après application

de l'évaluation du p r o g r a m m e . 89. Action en retour sur le déroulement du p r o g r a m m e .

76

Évaluation du rendement IV quantitatif de Faction

1 Buts de l'évaluation du rendement quantitatif

L a mesure du rendement quantitatif des cours d'alphabétisation a pour objet premier de fournir aux responsables du projet une descrip­tion quantifiée de ses activités. Les instruments seront conçus de façon à permettre la collecte systématique, au niveau de l'unité de travail, de données adéquates comparables, afin qu 'on puisse entreprendre à la fois des comparaisons diachroniques et des comparaisons inter­groupes et intra-groupes. L a tâche de l'équipe d'évaluation consistera ensuite à analyser ces premiers résultats afin de rechercher quelles améliorations on peut apporter au système afin de rendre plus appré­ciable le rendement quantitatif des cours d'alphabétisation.

2 Domaines couverts

Il s'agit essentiellement de recueillir pour chaque cours d'alphabé­tisation un certain nombre d'informations sur: Les participants. U n registre des participants est ouvert pour chaque

groupe, qui rassemble pour chacun des participants inscrits les renseignements suivants: sexe, âge, état matrimonial, nombre d'enfants (dont scolarisés), profession et, si possible, statut professionnel: niveau de qualification ou lien avec la terre cultivée (propriété, fermage, tenure), niveau d'alphabétisation (voir doc. 5), langue naturelle.

77

Évaluation du rendement quantitatif de l'action

La fréquentation. U n registre mensuel de fréquentation des cours (doc. 1) est tenu quotidiennement. Il permet de calculer pour chaque mois le nombre de sessions tenues, le nombre total d'absences par sexe, tranche d'âge et cause d'absence, ainsi que la déperdition. C e registre, c o m m e le précédent, est exploité au niveau local.

Le déroulement des cours. U n rapport mensuel (doc. 2) est adressé à la fin de chaque mois au niveau régional où il sera exploité. Il comprend un relevé des statistiques globales du document 1 et des indications sur les visites du superviseur, le matériel didactique reçu, les dépenses courantes, un compte rendu pédagogique, les résultats des tests hebdomadaires ou mensuels.

Les examens de fin de cycle. U n bilan de fin de cycle (doc. 3) indique, par rapport à l'effectif de la cohorte et à l'effectif du cycle inté­ressé, les résultats de l'effort d'alphabétisation. Il donne éga­lement des statistiques de fin de cycle. C e document est analysé et exploité aux niveaux régional et central.

Les instructeurs et les superviseurs. U n e fiche signalétique par personne fournira les caractéristiques essentielles des instructeurs et des superviseurs: sexe, âge, origine socio-professionnelle (paysan lettré, instituteur, vulgarisateur agricole, contremaître, etc.), niveau d'instruction, niveau de qualification pédagogique, stages de formation, ancienneté. C e document sera analysé aux niveaux régional et central.

Ces documents seront utilisés aussi bien pour les programmes opéra­tionnels que pour les programmes expérimentaux.

3 Études descriptives

O n cherchera à savoir en premier lieu qui sont les participants. O n procédera par sommations successives des données relatives aux participants de chaque cours par région géographique ou adminis­trative, par technologie éducative ou par organisme de tutelle tel que ministère, organisation para — ou non — gouvernementale, etc. O n dressera des tableaux composites relatifs aux principales caractéristiques des participants. O n disposera de ces statistiques pour le niveau local, le niveau régional et le niveau central.

1-1 Participants par sexe et tranche d'âge. 1-2 Participants par état matrimonial, nombre d'enfants et nombre

d'enfants scolarisés. 1-3 Participants par profession et niveau de qualification et/ou

78

Évaluation du rendement quantitatif de l'action

niveau socio-économique (lien avec la terre pour les paysans, superficie de la terre cultivée, etc.).

1-4 Participants par langue naturelle et niveau d'instruction.

O n cherchera à savoir ensuite qui abandonne les cours. O n pourra dresser d'autres tableaux selon les caractéristiques principales des participants et des instructeurs, par exemple:

1-5 Abandons par sexe et tranche d'âge des participants. 1-6 Abandons par état matrimonial, nombre d'enfants et nombre

d'enfants scolarisés. 1-7 Abandons par profession (voir 1-3 ci-dessus). 1-8 Abandons par langue naturelle et niveau d'instruction. 1-9 Abandons par cause d'abandon. 1-10 Abandons par sexe et âge de l'instructeur. 1-11 Abandons par origine socio-professionnelle de l'instructeur

( m ê m e origine que le participant, fonctionnaire, volontaire, etc.). 1-12 Abandons par qualification professionnelle de l'instructeur,

nombre de stages suivis, ancienneté, etc. 1-13 Abandons par niveau d'instruction de l'instructeur. 1-14 Abandons par nombre moyen de sessions tenues mensuelle­

ment par les groupes. 1-15 Abandons après 1 mois, 2, 3, 4 mois, etc., d'alphabétisation.

O n peut encore essayer de savoir qui s'absente fréquemment et pourquoi. O n établira des tableaux selon les caractéristiques des participants et des instructeurs, et les taux d'absentéisme. Ces tableaux (1-16 à 1-26) reprendront les variables définies ci-dessus de 1-5 à 1-15.

L'ensemble de ces tableaux permet de savoir qui, quand, pourquoi et où on abandonne les cours ou on s'en absente fréquem­ment. Ces tableaux permettent également de calculer les indica­teurs statistiques de base relatifs à la participation aux cours (voir chapitre II, section 4). La comparaison avec les statistiques recueillies lors de l'enquête de base permet de calculer le taux de couverture (indicateur 5). O n pourra également calculer pour chaque mois les taux de participation aux programmes (indicateur 1), les taux d'abandon (indicateur 2), les taux de fréquentation (indicateur 3), les taux d'utilisation du temps (indicateur 4) et, en fin de programme ou de cycle, les taux de participation aux épreuves terminales (indi­cateur 6), le taux participants/instructeur, etc.

4 Études comparatives

Elles doivent permettre d'abord d'évaluer les progrès réalisés par les groupes (études diachroniques), ensuite de déceler les groupes

79

Evaluation du rendement quantitatif de l'action

qui s'écartent (en plus ou en moins) de la moyenne et, à la limite, de définir les caractéristiques des individus qui s'écartent de la moyenne (études inter- et intra-groupes).

O n calculera l'évolution, mois par mois, des indicateurs relatifs à la fréquentation, l'abandon, le n o m b r e de sessions tenues, et l'on cherchera à savoir par exemple si les inscriptions aux cours, les aban­dons, l'absentéisme, la baisse du nombre de sessions tenues, sont plus marqués certains mois que d'autres (recherche des différences statistiques).

O n pourra également comparer chaque mois les divers taux calculés dans les groupes au taux global m o y e n , et l'on pourra ainsi savoir chaque mois, par région, organisme de tutelle, technologie éducative, quels sont les groupes qui s'écartent significativement de la moyenne . U n examen plus approfondi des caractéristiques des groupes (taille, situation, homogénéité, etc.) ou de celles des parti­cipants ou des instructeurs pourrait permettre de déceler les causes qui semblent à l'origine des situations constatées.

5 Etudes explicatives

Les études qui précèdent (descriptives ou comparatives) suffiront souvent à la connaissance des situations ponctuelles ou générales, favorables ou défavorables, ainsi que des causes essentielles qui les auront provoquées. O n pourra ainsi agir au niveau de ces causes pour en modifier les effets dans le sens d'une amélioration de la fréquen­tation des cours.

A un autre niveau de recherche, l'ensemble des données recueillies par les documents cités peut permettre aux projets qui le désirent et qui en ont les moyens de pousser plus loin l'investiga­tion. O n peut agir pas à pas, en essayant de vérifier s'il y a liaison entre deux ou plusieurs séries de variables, et quelle est l'intensité de cette liaison. O n peut aussi vérifier quelques-unes des hypothèses exposées en annexe (doc. 8) et d'autres encore que chaque projet pourra formuler.

La recherche des influences qui s'exercent sur l'absentéisme et l'abandon et en modifient les taux peut prendre la forme d'un modèle théorique à vérifier par des méthodes d'analyse complexes (du type analyse taxonomique de W r o c l a w , par exemple), mais aussi la forme d'hypothèses simples qu'on pourra essayer de vérifier à l'aide de tests statistiques plus faciles à manipuler (différence de moyennes ou de fréquences, analyse de variances, calcul de coeffi­cients de corrélation, corrélation multiple, covariance, analyse factorielle.

Par exemple, on cherchera à savoir si:

80

Évaluation du rendement quantitatif de Paction

L'abandon, l'absentéisme et la participation aux examens sont liés entre eux. O n peut faire d'abord l'hypothèse qu'abandons et absentéisme ont la m ê m e origine, que ce sont deux aspects d'un m ê m e phénomène , l'un pouvant devenir prédictif de l'autre. O n peut penser également qu'abandons et absentéisme ont une influence sur la participation aux examens, celle-ci étant plus faible ou plus forte quand les abandons ou l'absen­téisme sont plus importants.

L'inscription aux cours, l'abandon, l'absentéisme, la participation aux examens, la réussite aux examens sont, individuellement ou ensemble, liés à certaines caractéristiques particulières des participants telles que le sexe, l'âge, la statut matrimonial, le nombre d'enfants, le nombre d'enfants scolarisés, le niveau élevé de qualification professionnelle, la propriété ou la non-propriété de la terre, la langue naturelle, etc.

L'abandon, l'absentéisme, la participation aux examens sont liés à certaines caractéristiques des instructeurs: sexe, âge, niveau de formation antérieure, expérience professionnelle, ancien­neté dans l'exercice de l'alphabétisation, nombre de stages suivis, origine socio-économique, etc.

L'abandon, l'absentéisme, la participation aux examens sont liés aux taux participants/instructeur.

L'abandon, l'absentéisme, la participation aux examens sont liés à l'organisation des groupes (horaires, locaux, régions, insuffi­sance de matériel didactique, de contrôle par les superviseurs, retard dans le déroulement du programme, nombre de sessions tenues, etc.).

Les abandons et l'absentéisme sont liés au degré de réussite dans une période ou un cycle antérieurs. Il s'agit de savoir si la réussite en fin de premier cycle améliore la fréquentation du second cycle, en d'autres termes, si la réussite aux tests périodiques a une fonction émulatrice.

Les abandons et l'absentéisme étaient prévisibles. O n pourrait ainsi étudier les liaisons éventuelles avec quelques éléments défa­vorables révélés par les enquêtes de faisabilité : volonté politique, études des motivations, enquête du milieu (pour plus de détails voir chapitre III, section 3.vi).

L'abandon et l'absentéisme sont liés à certains facteurs relatifs aux

méthodes et moyens d'alphabétisation. L'abandon et l'absentéisme sont liés à des facteurs relatifs au cadre

institutionnel du projet tels que: niveau d'intégration dans la vie politique, degré d'autonomie du projet, niveau d'intégration dans les institutions, niveau d'organisation interne du projet,

81

Évaluation du rendement quantitatif de l'action

importance des ressources humaines dont il dispose, importance du budget qui lui est accordé, coût unitaire moyen d'un cours, d 'un participant.

82

Évaluation du rendement V qualitatif de l'action

1 Buts

L'évaluation du rendement qualitatif porte sur les cours, le niveau, la valeur de ces cours. Elle permet d'avoir sur l'activité du programme un effet d'action en retour permanent. O n peut en effet prévoir la mesure des résultats de façon à fournir chaque semaine1 à l'échelon régional un certain nombre de renseignements sur l'activité des cours. C e système permet au directeur (ou au superviseur) régional d'être immédiatement averti de l'existence d 'un frein au déroulement normal de la programmation prévue, d'étudier les causes de l'arrêt ou du ralentissement, et d'agir aussitôt sur le programme ou l'instructeur de façon à modifier la situation. O n peut aussi, grâce aux instruments mis en place, améliorer le matériel pédagogique ainsi que les qualités professionnelles des instructeurs. Enfin, il est possible de mesurer à tout m o m e n t le niveau des connaissances acquises par les participants en matière d'alphabétisation et de formation professionnelle.

2 Domaines couverts C e type d'évaluation fournira des renseignements: Sur la réussite des participants aux tests de fin de cycle. Le question­

naire « bilan de fin de cycle » (doc. 3) fournit, pour chaque test utilisé, le nombre d'items que comporte le test, le seuil critique,

1. O u chaque quinzaine ou chaque mois selon les possibilités du projet.

83

Évaluation du rendement qualitatif de l'action

la moyenne des notes obtenues, le nombre de participants ayant passé le test, le nombre et le pourcentage de participants ayant passé le seuil critique.

Sur le niveau atteint chaque semaine1 par les participants, tout au long du programme, grâce au « rapport mensuel » (doc. 2) qui donne dans son point G les résultats des tests hebdomadaires. Pour chaque test prévu, le document fournit le nombre de partici­pants ayant passé le test, le seuil critique, la moyenne des notes, le nombre de participants et le pourcentage ayant passé le seuil critique. Si le projet a prévu pour chaque semaine u n prétest et u n posttest, on pourra diviser en deux parties chacune des colonnes du point G d u rapport mensuel et disposer ainsi d'indi­cations supplémentaires, en particulier sur les connaissances préalables des participants (il sera peut-être judicieux de suppri­m e r certains renseignements inutiles) et le degré de rétention immédiate.

Ces relevés seront systématiques. Cependant, il conviendra d'obtenir des renseignements plus complets sur les épreuves passées afin de conduire des études plus approfondies. A u x relevés systématiques et exhaustifs on préférera alors la collecte de données par sondage. O n utilisera alors deux sortes de documents :

Le « relevé de toutes les notes » obtenues par les participants des groupes désignés par le sondage aux tests de fin de cycle ou de fin de programme. C e procédé permettra le calcul des statis­tiques de moyenne et de dispersion pour chaque test, ou leur total.

L e « relevé des pourcentages de réussite à chaque item » soit de cer­tains tests périodiques (hebdomadaires, mensuels), soit des tests de fin de cycle. O n pourra ainsi procéder, point par point, à des analyses d'items qui permettront de préciser le détail des con­naissances acquises par les participants.

3 Instruments utilisés E n plus des instruments cités plus haut pour les relevés systématiques et pour les relevés par sondage, on utilisera surtout les « tests ».

1. O u chaque quinzaine ou chaque mois selon les possibilités du projet.

84

Évaluation du rendement qualitatif de Vaction

U n test

Selon la définition adoptée par l'Association internationale de psy­chotechnique, un test est « une épreuve définie impliquant une tâche à remplir, identique pour tous les sujets examinés, avec techni­que précise pour l'appréciation du succès ou de l'échec, ou pour la notation numérique de la réussite». La mise au point d'un test est une tâche longue et complexe. U n vrai test doit posséder un certain nombre de qualités dont les principales sont:

La validité: le test mesure bien ce qu'il est censé devoir mesurer. O n doit s'en assurer en comparant ses résultats à un critère extérieur.

La fidélité: le test fournit une mesure constante d'un phénomène donné (entrent en jeu son homogénéité ou consistance interne, sa stabilité temporelle et son objectivité).

La sensibilité: le test est susceptible de discriminer les changements intervenus, qualitativement et quantitativement, dans un ordre d'unité adapté au phénomène étudié.

Il sera intéressant, au moins pour les tests de connaissances profes­sionnelles, de s'assurer qu'ils possèdent bien ces qualités et qu'en conséquence ils présentent un certain degré de prédictivité. Dans la plupart des cas, ces études ne seront pas entreprises dans les pro­jets en raison de la complexité des opérations. Aussi devrait-on parler, en fait, d'épreuves standardisées et non de tests.

Pour mesurer avec rigueur les résultats, on doit disposer de trois catégories de tests construits avec le m a x i m u m de précaution. C e sont les tests initiaux, qui donnent pour chaque participant le niveau de départ de ses connaissances, les tests terminaux (de cycle ou de programme), qui donnent son niveau final, et les tests inter­médiaires, si possible hebdomadaires.

L'échelle d'alphabétisation

O n ne peut mesurer l'acquisition de connaissances qu'à la condition d'avoir, au préalable, mesuré le niveau de départ des participants. Il est donc nécessaire de disposer d'un prétest. O n utilisera de pré­férence I'« échelle d'alphabétisation» (voir doc. 5) adaptée de C h . Maguerez1 . Cette échelle permet de classer les connaissances élémentaires (écriture, lecture, numération, calcul) en six degrés croissants. Selon les résultats obtenus aux tests (au départ, l'échelle d'alphabétisation; en fin de cycle les divers tests finals décrits plus loin), les individus sont classés selon trois niveaux:

1. C h . Maguerez, La promotion technique du travailleur analphabète, Paris, 1966.

85

Evaluation du rendement qualitatif de l'action

Le niveau I est constitué d'analphabètes. Ces personnes ne savent ni lire, ni écrire, ni calculer, ou savent lire quelques lettres et compter quelque peu. Elles ne correspondent pas à la défi­nition que l'Unesco a donnée de l'alphabétisé: « personne qui est capable de rédiger un court texte sur ses activités quoti­diennes». Le niveau I correspond aux degrés 1 et 2 de l'échelle d'alphabétisation.

Le niveau II (semi-analphabètes) comprend des personnes qui doivent être capables de déchiffrer des phrases (sans toujours en c o m ­prendre le sens) et peut-être d'écrire (ou plutôt de recopier) un texte, mais ne sont pas capables d'utiliser leurs connais­sances à des fins culturelles ou socio-économiques. D e plus, la plupart du temps, elles ne savent pas opérer des calculs complexes. C e sont bien souvent des personnes qui ont com­mencé à apprendre, puis ont abandonné leur apprentissage ou oublié leurs acquis, faute d'entraînement constant. C e niveau correspond aux degrés 3 et 4 de l'échelle d'alphabétisation.

Le niveau III comprend des personnes qui ont un niveau de connais­sances correspondant à une scolarité de quatre ou cinq ans d'études primaires. O n peut les considérer c o m m e alphabé­tisées au sens que donne l'Unesco. Le niveau III correspond aux degrés 5 et 6 de l'échelle d'alphabétisation.

Les épreuves de l'échelle d'alphabétisation sont passées au cours de la période d'inscription, par chaque participant. En fin de cycle, on relève les résultats individuels du test final et, par différence avec les performances de l'échelle d'alphabétisation, on sait si l'auditeur peut, à ce m o m e n t , être déclaré alphabétisé.

Les tests de fin de cycle

Ils devraient comprendre au min imum 1:

Une épreuve de lecture, écriture, orthographe destinée à tester le niveau de compréhension d'un message écrit et le niveau de l'orthographe. O n devra chercher à utiliser un document réel que le participant est appelé à utiliser, tel que formulaire administratif à remplir, prospectus pour un produit agricole au sujet duquel on posera quelques questions, etc.

Une épreuve de calcul destinée à évaluer le niveau d'acquisition des mécanismes de numération et d'opérations, avec peut-être, quand le niveau de départ des participants le permet ou quand le niveau technique du programme l'exige, des épreuves de frac­tions, pourcentages, échelles, calculs de temps, etc.

1. Le projet iranien du P E M A a construit des épreuves de bonne qualité dont on pourra très utilement s'inspirer.

86

Évaluation du rendement qualitatif de l'action

U n e épreuve de calcul technique professionnel, destinée à tester l'aptitude du participant à résoudre par le calcul des pro­blèmes pratiques courants intéressant sa vie professionnelle ou sa vie quotidienne.

U n e épreuve de capacité à s'exprimer par écrit: expression écrite et langage symbolique; par exemple, une lettre explicitant les raisons pour lesquelles on est décidé à adopter une technique nouvelle recommandée par le programme, illustrée d'un cro­quis, d'un dessin ou d'un schéma explicatif.

Si possible, une épreuve pratique de «savoir-faire» prouvant que le participant est capable d'appliquer les connaissances techni­ques ou professionnelles qu'il a acquises pendant le cours.

Selon le contenu des programmes, une ou plusieurs épreuves de connaissances dans la matière technique enseignée: culture du riz en lignes, culture du coton, tissage et filage, puériculture, coopérative, etc.

U n e ou plusieurs épreuves de connaissances culturelles: histoire,

géographie, religion, civisme, politique, etc. La forme a donner à ces épreuves dépendra, bien entendu, des usages scolaires établis dans le pays. Mais on s'efforcera de réaliser des épreuves normalisées se rapprochant le plus possible des tests. Il ne faut pas oublier que l'utilisation de tests normalisés pour tous les groupes d'un m ê m e programme est préférable à l'utilisation de tests élaborés par chaque instructeur pour son groupe, car les premiers peuvent permettre des comparaisons inter-groupes. D e plus, les tests normalisés sont préparés au niveau central par des personnes qui ont, plus que les instructeurs, le temps et la capacité de les c o m ­poser selon les principes décrits plus haut, qui amélioreront leur validité et leur fidélité. Bien entendu, les items du test devront refléter les objectifs de l'enseignement du programme, donc être basés sur ce qui est réellement enseigné (validité de contenu). Enfin, les tests normalisés permettent une correction objective et aisée, car les types les plus fréquents de réponses ont été prévus et leur nota­tion indiquée avec précision. D e plus, la forme des questions (de type choix multiple, vrai-faux, à compléter ou à rédaction) implique des réponses généralement courtes, donc rapides à corriger.

Tests périodiques

O n peut établir pour chaque séquence (ou groupe de séquences), un test périodique reprenant l'essentiel des difficultés ou des connais­sances à acquérir au cours de la période considérée. Les participants peuvent passer l'épreuve (qui peut être globale pour l'ensemble de la séquence ou partagée en autant de sous-épreuves qu'il y a de c o m ­posantes dans le programme) au début et/ou à la fin de la séquence.

87

Évaluation du rendement qualitatif de l'action

U n relevé des pourcentages de bonnes réponses par item peut être effectué.

4 Etudes descriptives des résultats

Grâce aux documents cités, on peut connaître les résultats des tests, par épreuve et par item, par groupe et par individu, et l'on peut dresser une série de tableaux descriptifs par région, technologie éducative, organisme de tutelle, c o m m e par exemple: 2-1 Résultats des test initiaux (par région, technologie éducative,

organisme de tutelle x. 1-1 Résultats des tests de fin de premier cycle (ou de deuxième

cycle) en arithmétique élémentaire (indicateur 7.o). 2-3 Résultats des tests d'arithmétique professionnelle (indica­

teur 7.b). 2-4 Résultats des tests de compréhension de textes écrits (indica­

teur 7.c). 2-5 Résultats des tests d'aptitude à formuler un message simple par

écrit (indicateur 7.d). 2-6 Résultats des tests de dictée-écriture. 2-7 Résultats des tests en connaissances techniques ou profession­

nelles (indicateur 8). 2-8 Résultats des tests en connaissance de caractère socio-écono­

mique (indicateur 9). 2-9 Résultats des tests de connaissances en matière de santé,

hygiène, alimentation (indicateur 10). 2-10 Résultats, en pourcentages de réussites, des diverses analyses

d'items des divers tests retenus pour ces études. 2-11 Résultats des tests hebdomadaires (tous les tests ou certains

jugés significatifs) avec m o y e n n e des notes, et pourcentages des participants ayant passé le seuil critique.

5 Etudes comparatives des résultats

Certains de ces tableaux sont périodiques. Aussi peut-on procéder à des comparaisons diachroniques en plus des comparaisons inter et intra-groupes, c o m m e par exemple: Ranger les centres d'alphabétisation par niveau de réussite aux

divers tests et identifier ceux qui s'éloignent fortement, posi­tivement ou négativement, de la moyenne . O n devra pour cela, pour chaque épreuve, calculer la moyenne générale des notes,

1. O n continue les numérorations entreprises au chapitre précédent, section 3.

Évaluation du rendement qualitatif de l'action

le pourcentage d'admis (ou la m o y e n n e des moyennes si la taille des groupes est à peu près identique), la variance intra et inter-groupes, etc. O n pourra peut-être déceler alors les causes des échecs importants ou des réussites spectaculaires, simplement en mettant ces résultats en relation avec d'autres variables telles que les caractéristiques des instructeurs ou des variables exogènes: environnement, logistique, climatologie, etc.

L'analyse des résultats par item permet à l'instructeur, au niveau du groupe d'abord, de connaître les faiblesses de son enseigne­ment, à condition qu'il opère, pour chaque test h e b d o m a ­daire, le calcul des pourcentages de réussites par item. A u niveau de la région ensuite, l'analyse met en évidence la fai­blesse des contenus de p r o g r a m m e . En effet, si l'on retrouve dans la plupart des groupes le m ê m e échec à un item (ou à un groupe d'items) cela pourrait indiquer que la partie du pro­g r a m m e qui correspond à l'item (ou groupe d'items) incriminé est mal conçue: élaboration trop rapide du curriculum peut-être.

L'analyse des résultats par individu permet, entre autres, de noter les progrès de chacun. O n peut la faire au niveau local (pour le bénéfice de l'instructeur) ou au niveau régional ou central. O n procédera alors par échantillons représentatifs. L'analyse par groupes de participants permet également l'identification des « bons» et des« moins bons» instructeurs. La mise en relation de ces résultats avec les caractéristiques des instructeurs peut aider à définir le profil de l'instructeur idéal.

La conduite d'études de ce type peut donc, si les études portent à la fois sur les tests de fin de cycle et les tests hebdomadaires (ou bimensuels ou mensuels), contribuer à suivre le déroulement de l'enseignement de chaque cours et groupe de cours avec une très grande précision. Ainsi, dès qu'un cours ou un groupe de cours paraît fournir des résultats insuffisants, le superviseur est aussitôt alerté et il est possible de déterminer rapidement la faille et d'intervenir en agissant sur l'instructeur, sur les conditions de l'environnement, sur le processus de l'enseignement ou sur le contenu du cours lui-m ê m e . Cet effet d'action en retour doit donner des résultats très efficaces et permettre de réaliser d'importantes économies. Les études comparatives peuvent enfin aider à approcher de la définition du profil optimal de l'instructeur, de la taille d'un groupe, des meil­leures conditions de réalisation d'un groupe (logistique, environ­nement, etc.).

89

Evaluation du rendement qualitatif de l'action

6 Études explicatives

Si le projet en a les moyens, on peut entreprendre des études plus approfondies qui pourraient permettre de cerner les causes qui pro­voquent la réussite.

Quelques hypothèses

O n peut essayer à ce niveau de nombreuses hypothèses en mettant en relation à l'aide de procédés statistiques classiques, d'une part, les résultats aux divers tests et, d'autre part, des variables endogènes ou exogènes à l'action d'alphabétisation, qu'on choisira de préfé­rence en amont, dans le diagramme général du processus d'alpha­bétisation fonctionnelle (chap. IX, diagramme 6). Pas plus que pour le chapitre précédent et pour ceux qui suivront, il n'est possible de dresser une liste exhaustive des hypothèses qu'on peut tenter de vérifier. Cela dépendra des projets. Il n'est pas davantage recom­mandé de vérifier toutes les hypothèses énoncées ici, ou toutes celles qu'a tenté de vérifier l'équipe chargée de l'évaluation globale du P E M A , hypothèses qu'on a répertoriées en annexe.

Hypothèses relatives à la volonté politique

Les résultats des participants sont-ils meilleurs quand il existe une volonté politique de mener à bien l'alphabétisation en vue d'une transformation du milieu ?

O n peut établir un diagramme de corrélation entre la variable résultats des tests et une variable à construire d'après les données de l'enquête de faisabilité (chap. Ill, section 3). Pour apprécier la volonté politique, on pourrait adopter un indicateur composite dans lequel entreraient par exemple : Le nombre de visites de personnages politiques et de fonctionnaires

de haut rang; Le nombre d'interventions des organisations non gouvernementales,

syndicats, unions des femmes, scoutisme, Églises, etc. ; Le degré de participation des partis politiques; Les interventions des comités locaux d'alphabétisation; Etc. Si le calcul statistique montre qu'il y a de fortes chances pour qu 'on puisse apporter une réponse positive à la question, on pourra suggérer aux pouvoirs publics d'apporter au projet un soutien plus efficace, lors de créations éventuelles de nouveaux centres d'alphabétisation.

90

Évaluation du rendement qualitatif de l'action

Hypothèses relatives à Vautonomie du projet

O n peut se demander si les résultats sont meilleurs quand le degré d'autonomie du projet (selon la région considérée, la technologie éducative, l'organisme de tutelle) est plus grand (voir chap. Ill, sec­tion 3.ii), ou quand la rationalité de son organisation est plus élevée. O n peut ici mettre en liaison pour chaque groupe les moyennes obte­nues aux divers tests et des indices mesurant le degré de rationalité du projet ou son niveau d'autonomie. O n pourrait, là également, consti­tuer un indicateur composite dans lequel entreraient : Le degré d'intégration (au niveau local ou régional) du projet dans une

opération de développement ; Le degré d'intégration du projet dans l'administration locale ou

régionale du ministère de tutelle; Le degré d'autonomie des organes d'exécution du programme au

niveau local ou régional; Le degré d'autonomie du projet vis-à-vis d'autres organismes de

formation des adultes, Etc. Les hypothèses relatives à l'autonomie du projet, c o m m e celles rela­tives à la volonté politique, n'ont — si elles se trouvent vérifiées — que peu d'intérêt pour le projet dans l'immédiat, car il est difficile de modifier la situation et d'en tirer profit au cours du déroulement du programme. Mais leur intérêt théorique est très important, car les résultats de ces études permettent de mieux organiser le lancement de nouveaux projets.

Hypothèses relatives aux moyens financiers

Il est justifié de se demander si les résultats sont meilleurs quand les ressources financières mises à la disposition du groupe (ou de la région ou de la technologie éducative) sont plus élevées. O n peut mettre en relation les résultats obtenus aux tests avec les sommes dépensées pour chaque groupe. Il est aisé de construire la variable « finance­ment ». O n reviendra plus longuement sur cet indicateur dans le chapitre suivant.

Hypothèses relatives aux ressources humaines

O n s'intéressera plus particulièrement aux instructeurs. Le champ est ici plus large et plus aisé. O n calculera les liaisons qui ne peuvent manquer d'apparaître entre les résultats aux divers tests et les prin-

91

Évaluation du rendement qualitatif de Paction

cipales caractéristiques des instructeurs et celles de leur formation. Il est évident que ce type d'hypothèses sera plus souvent vérifié dans les projets, car il devrait permettre de définir le profil de l'instructeur qui obtient les meilleurs résultats avec la population et le programme considérés. D'après les résultats des études engagées, on agira sur le recrutement pour ne retenir que les candidats instructeurs qui pos­sèdent les caractéristiques optimales fournies par le profil, et on leur donnera la formation qui semble devoir obtenir les meilleurs résultats.

Hypothèses relatives aux possibilités de Venvironnement

O n pourra essayer de vérifier quelques hypothèses relatives à l'envi­ronnement en mettant en relation les moyennes obtenues aux tests et certains indicateurs mesurant les facilités dues à l'environnement (voir chapitre III, section 5, iv) telles que : L a participation bénévole des participants à la construction du local

d'alphabétisation ; L'existence d 'un comité local d'alphabétisation, le soutien des

notables ; L'existence d'une structure villageoise organisée; Les facilités de communication ; L'existence d'une infrastructure sanitaire; L'existence d'une infrastructure en matière d'éducation; L'existence d'une infrastructure d'appui en matière de développement

agricole, etc.; Etc. O n utilisera soit un indicateur composite, soit un coefficient de corré­lation bisérial. L a vérification de ces hypothèses est utile pour con­naître quelles conditions minimales doit offrir l'environnement pour qu 'un nouveau programme qu 'on lancerait éventuellement ait de bonnes chances de réussir.

Hypothèses relatives aux caractéristiques des participants

Il est aisé de mettre en liaison la réussite aux tests et les principales caractéristiques des participants. O n pourra ainsi connaître les parti­cipants qui réussissent le mieux: f e m m e s ou h o m m e s , jeunes ou vieux, propriétaires terriens ou ouvriers agricoles, etc. O n mettra également en relation les notes obtenues aux tests (ou à certains tests) avec le niveau antérieur de connaissances de type scolaire ou professionnel, le niveau de connaissance de la langue d'enseignement, le degré de réussite au cycle précédent, le degré de participation aux affaires locales, à l'organisation des cours, etc.

92

Évaluation du rendement qualitatif de l'action

La connaissance des conclusions de ce type d'études permet à l'équipe dirigeante du projet de mieux former les groupes, en recru­tant, par exemple, de préférence les personnes possédant les carac­téristiques optimales d'après les résultats obtenus par la génération précédente. O n pourra également porter un intérêt plus soutenu aux personnes qui possèdent les caractéristiques défavorables afin de les conduire au m ê m e niveau que les autres. O n peut aussi recher­cher les causes qui provoquent les échecs de ces catégories parti­culières afin d'essayer d'apporter quelques améliorations susceptibles de les atténuer.

O n peut également mettre en relation les résultats aux tests avec certains indicateurs relevés au cours des enquêtes préalables concernant les participants tels que les motivations, les intérêts, etc. (voir chap. Ill, section 3.v). O n pourra, de cette manière, vérifier le degré de prédictivité des enquêtes de motivation (recherche de vali­dité), et ainsi savoir si certains échecs étaient prévisibles au m o m e n t de l'élaboration du projet, donc avant sa mise en route. O n pourrait, par exemple, retenir les points suivants :

Désir explicitement exprimé d'apprendre surtout à lire ou écrire ou compter, etc. (à mettre en relation avec les résultats des tests correspondants) ;

Autres apprentissages souhaités: relevant de la vie professionnelle, familiale, sociale;

Avantages tirés de l'alphabétisation: augmentation de revenus, chan­gement de métier, prestige social, amélioration de la vie quo­tidienne, etc. ;

Évaluation du degré de difficulté des divers apprentissages ; Évaluation des éléments susceptibles de contrecarrer leur volonté

d'apprendre; Etc. Il est naturellement possible, si les moyens existent dans le projet, de pousser plus loin l'analyse en calculant les corrélations de façon à tenir compte des différentes caractéristiques des participants: sexe, âge, statut marital, nombre d'enfants, salaire ou niveau socio-économique, etc.

Hypothèses relatives à la méthodologie pédagogique

O n reprendra là les hypothèses concernant les méthodes et moyens pédagogiques que l'on a répertoriés en annexe (doc. 8). Il s'agit des hypothèses 8 à 14 qu'on étudiera plus spécialement au chapitre VII.

93

Evaluation du rendement qualitatif de Vaction

Hypothèses relatives aux tests eux-mêmes

Les études relatives aux tests visent surtout à vérifier d'abord leur effectivité: sensibilité, validité et prédictivité, fidélité, homogénéité et objectivité (voir supra, section 3), et ensuite à les améliorer. O n procédera en premier lieu à l'étude interne de chaque test, ensuite à des études inter-tests afin de vérifier que les batteries utilisées répondent bien aux objectifs fixés. La plupart de ces travaux auraient dû être entrepris avant l'utilisation des épreuves. Mais c o m m e on l'a déjà souligné, les conditions d'exécution des projets ne le permettent généralement pas.

Pour mener à bien ce type d'études, on doit disposer des résul­tats de tests d'un certain nombre de groupes faisant partie d'un échantillon (à préciser), des résultats de tests d'un certain échantillon de participants, et des résultats par item d'un certain nombre de tests. La définition et la taille de ces divers échantillons seront fixées en fonction des études qu'on se propose d'entreprendre. Toutes ces données recueillies grâce aux instruments décrits plus haut (doc. 2 et 3) devraient permettre de procéder entre autres aux travaux suivants: Pour chaque test, étude de l'histogramme des résultats, vérification

de la normalité de la courbe, de son étalement (sensibilité du test).

Pour chaque test, étude de l'homogénéité: intercorrélations des items, consistance inter-items, etc.

Pour certains tests, comparaison des résultats obtenus avec un facteur extérieur. O n peut, par exemple, évaluer le niveau des connais­sances acquises au cours d'un programme en lecture, écriture, calcul, etc., en comparant le niveau d'acquisition des partici­pants au niveau d'acquisition scolaire des élèves de telle ou telle classe. Pour cela, on fera passer aux m ê m e s participants (ou aux m ê m e s élèves d'écoles élémentaires) à la fois les tests sco­laires et les tests du programme pour chaque matière, puis on étudiera la corrélation existant entre les deux séries de réponses (validité apparente). O n peut également comparer les résultats d'un test hebdomadaire, par exemple de connais­sances professionnelles ou de savoir-faire, avec les apprécia­tions d'un contremaître sur le travail réel des participants en atelier, cette appréciation étant établie sur un comportement en fin de programme (validité prédictive).

Étude des intercorrélations des tests qui permettra, entre autres, de savoir si les tests sont purs ou bien possèdent de nombreux éléments c o m m u n s . Les études des intercorrélations entre les tests de premier cycle et ceux de fin de second cycle permet-

94

Evaluation du rendement qualitatif de l'action

tront de savoir quelles sont les épreuves de fin de premier cycle qui sont les meilleurs prédictifs d'une réussite au second cycle.

Recherche de coefficients de corrélation multiple, qui permettra de mieux connaître le degré de prédictivité de l'association de divers tests utilisés et d'établir, si on le désire, des coefficients de pondération pour chacun des tests utilisés.

Analyse factorielle qui pourrait permettre d'isoler les facteurs prin­cipaux de cette forme d'apprentissage. O n ne peut que souhai­ter que l'analyse factorielle puisse mettre à jour une structure où le facteur « apprentissage technique » joue le premier rôle, accompagné d'un facteur « lecture» et d'un facteur « calcul» ou « numération».

Etc.

95

Évaluation des effets V I des composantes logistiques du projet

1 Buts O n a étudié dans les chapitres IV et V les formes que pouvait prendre l'évaluation des rendements quantitatif et qualitatif d'une action d'alphabétisation: présentation et description des résultats, compa­raison de ces résultats entre eux et aux critères de réussite, recherche des causes qui ont vraisemblablement provoqué les situations ayant conduit à ces résultats. Dans le chapitre précédent, le c h a m p de la recherche se limitait à l'influence que pouvaient avoir sur les résultats, d'une part, des variables relatives aux caractéristiques des participants et des instructeurs (acteurs et agents de l'alphabétisation), d'autre part des variables relatives à l'environnement de l'action d'alphabétisation : volonté politique, infrastructure, ressources humaines, etc.

Ces facteurs, bien qu'exogènes à l'acte d'alphabétisation, n'ont pu être étudiés dans le présent chapitre, car on a préféré séparer les do­maines sur lesquels l'équipe responsable de l'exécution du projet n 'a pas autorité (choix de la population ou de la zone à alphabétiser, envi­ronnement, volonté politique), des domaines sur lesquels l'équipe peut étendre son libre choix et son autorité et exercer sa responsabilité, c'est-à-dire ceux où elle peut expérimenter, modifier, supprimer, inventer.

Le chapitre suivant sera également consacré à des champs où l'équipe est souverainement responsable, mais qui sont endogènes à l'acte d'alphabétisation: méthodes d'enseignement, contenus, matériels. Le présent chapitre traitera donc plus particulièrement de la logistique: organisation, gestion, planification, domaines où l'équipe executive du projet est pleinement maîtresse de l'action.

97

Évaluation des effets des composantes logistiques du projet

2 Domaines couverts

Il s'agit de savoir dans quelle mesure interviennent, dans le rendement quantitatif et qualitatif des cours, des éléments de logistique tels que :

i) Le choix du lieu — et non de la zone — où se déroulent les cours (localisation et local), l'horaire, le nombre et la durée des ses­sions, la durée calendaire du programme.

ii) Les caractéristiques principales des groupes: homogénéité de sexe et d'âge, de statut socio-économique, de branche profession­nelle et de niveau de qualification; stabilité, effet des inscriptions additionnelles; ratios participants/instructeur, instructeurs/groupe; adéquation fonctionnelle du programme.

iii) L'organisation matérielle des groupes : équipement de base, alimentation en matériel didactique (quantité et nature), supervision, m o d e de transport, aide alimentaire.

iv) L'organisation interne du projet: niveau de qualification du personnel de recherche et de fonctionnement du projet; niveau de qualification du personnel d'exécution (instructeurs et supervi­seurs); liaisons avec les organismes de développement; visites des centres par les membres de l'équipe dirigeante du projet.

v) Le montant de l'investissement et des dépenses récurrentes.

3 Instruments utilisés

Pour recueillir toutes les données relatives aux domaines qu'on vient de définir, il sera nécessaire de recourir à deux types de sources d'information, à l'intérieur et à l'extérieur du projet.

Les sources d'information internes

Il s'agit surtout de la «fiche signalétique des cours» (doc. 6) qui sera rédigée par l'instructeur avec l'aide éventuelle du superviseur un mois après l'ouverture des cours et adressée au service régional. La partie A de ce document fournit les renseignements nécessaires au point i) de la section 2 ci-dessus, les parties B et C au point ii), les parties F et G pour l'essentiel du point iii), les parties B et E pour le point iv) et les parties H et J pour une partie du point v) (à titre de vérification partielle).

L e « rapport mensuel» (doc. 2) donne en B les renseignements relatifs à la supervision, en C au matériel didactique, et en D à l'aide alimentaire reçue au cours du mois. Il fournit en E les rensei­gnements relatifs au budget (partiellement).

98

Évaluation des effets des composantes logistiques du projet

Toutes les données fournies par ces documents peuvent être agrégées au niveau du superviseur et apparaître dans son propre rapport mensuel. Selon le degré d'agrégation souhaité, on utilisera les données du niveau local ou régional, ou de la techno­logie éducative.

Les sources d'information relatives au budget

Il ne s'agit pas d'entreprendre ¡ci une opération d'évaluation des coûts-bénéfices, mais de tenter d'établir quelques coûts unitaires dont la connaissance est indispensable pour la prévision des dépenses à engager dans tous les cas où il est envisagé d'amplifier l'action d'alphabétisation entreprise. Il sera généralement préférable de confier ce travail à des spécialistes en matière budgétaire du ministère de tutelle du projet d'alphabétisation. O n trouvera cependant ci-dessous les grandes lignes d'un plan d'évaluation des coûts unitaires. O n devra disposer de deux sources importantes d'information: le budget et les aides extérieures.

Les dépenses budgétaires

Dépenses en personnel. Les séparer en: a) personnel des services centraux (cadres, personnel de service et de bureau). O n tentera d'isoler le personnel qui se consacre à la recherche; b) superviseurs et personnel de service et de bureau à l'éche­lon régional; c) instructeurs; d) bourses (les ventiler entre les personnels ci-dessus).

Dépenses d'équipement (séparer services centraux, échelon régional et échelon local): a) bâtiments; b) mobilier; c) véhicules; d) matériel didactique. Si possible, tenter d'isoler les dépenses d'équipement consacrées à la recherche.

Dépenses d'entretien (séparer services centraux, échelon régional et échelon local): a) eau, électricité, chauffage; b) entretien des bâtiments, réparations; c) entretien des véhicules, réparations; d) matériel consomptible (craie, matériel d'entretien des locaux, etc.); e) nourriture; f) frais de déplacements des super­viseurs; g) frais de formation, stages, etc.; h) frais divers. Si possible, isoler les dépenses d'entretien consacrées à la re­cherche.

Les recettes. O n agrégera séparément les recettes provenant: Directement du budget de l'État;

Des collectivités locales ou régionales (subventions, personnel, véhi­cules, fourniture gratuite d'eau, d'électricité, aide alimentaire, etc.) ;

Des organisations internationales; D e l'aide bilatérale;

99

Évaluation des effets des composantes logistiques du projet

Des organismes de développement (parapublics ou privés) auxquels peuvent être rattachés les projets;]

Des organisations non gouvernementales: partis politiques, syndi­cats, Églises, organisations de femmes, de jeunes, etc.;

Des dons individuels.

4 Études descriptives

A partir des données fournies par les instruments décrits plus haut, on peut dresser une liste d'indicateurs qu'on pourra, en premier lieu, présenter dans des tableaux descriptifs. O n aura prévu au préa­lable, pour le relevé des données, les classes de variation ou les échelles nominales adéquates. Le simple examen de ces tableaux permettra aux diverses équipes d'avoir une bonne connaissance de la situation matérielle des cours et de leur fonctionnement. Les tableaux présenteront les nombres bruts, des pourcentages et quelques sta­tistiques de moyenne et de dispersion. Les principaux pourraient être les suivants, pour lesquels nous poursuivons la numérotation entreprise dans les précédents chapitres. O n aura intérêt à présenter des tableaux différents pour chaque région, chaque technologie édu­cative, chaque organisme de tutelle: 3-1 Répartition des cours selon le lieu: plein air, local spécialement

attribué, école, atelier, salle communale , local religieux, etc. 3-2 Répartition des cours selon !a distance à parcourir par les par­

ticipants pour y assister. 3-3 Répartition des cours selon l'horaire: matin, pause de midi,

soirée, après dîner; avant ou après le temps d'équipe, etc. 3-4 Répartition des cours selon la durée moyenne d'une session et

le nombre de sessions hebdomadaires. 3-5 Répartition des cours selon la durée calendaire du programme,

et sa position dans l'année civile. 3-6 Calendrier du projet (par région et par technologie éducative)

portant des indications météorologiques (pluviométrie), le calendrier agricole, l'importance des travaux ruraux, et le nombre de séances prévues pour chaque mois.

3-7 Répartition des cours par sexe (femmes, h o m m e s , mixtes), et par groupe d'âge (moins de 15 ans, 15-25 ans, 26-45 ans, plus de 45 ans) des groupes de participants.

3-8 Répartition des cours selon la branche professionnelle et le niveau de qualification des participants.

3-9 Répartition des cours selon le nombre d'inscriptions addi­tionnelles.

3-10 Répartition des cours selon le ratio participants/instructeur. 3-11 Répartition des cours selon le ratio instructeurs/groupe.

100

Évaluation des effets des composantes logistiques du projet

3-12 Répartition des cours selon la quantité de matériel didactique reçu et la nature du matériel: collectif, individuel, pour l'ins­tructeur. \

3-13 Répartition des cours selon l'importance de l'équipement de base attribué (à déterminer selon les projets).

3-14 Répartition des cours selon le m o d e de transport des par­ticipants.

3-15 Répartition des cours selon l'importance de l'aide alimentaire (ou autre, vêtement, logement, etc.) reçue.

3-16 Répartition des cours selon l'aide apportée en matière profes­sionnelle (heures supplémentaires payées ou heures d'appren­tissage prises sur le temps du travail, dons d'engrais, de pesti­cides, moisson sur le champ de démonstration, etc.).

3-17 Répartition des cours selon le nombre de visites faites par les superviseurs, par nature de visite.

3-18 Répartition des superviseurs par nombre de cours dont ils ont la charge.

3-19 Répartition des instructeurs (et des superviseurs) par sexe et tranche d'âge.

3-20 Répartition des instructeurs et superviseurs par branche profes­sionnelle d'origine (instituteurs ou autres enseignants, paysans, ouvriers, agents ruraux ou autres fonctionnaires, contremaîtres, ingénieurs, etc.) et qualification professionnelle: non qualifié, qualifié, spécialisé, technicien, etc.

3-21 Répartition des instructeurs et superviseurs par ancienneté dans le métier et ancienneté dans l'alphabétisation.

3-22 Répartition du personnel de direction et de recherche par caté­gorie (fonctionnaires de l'État, agents de l'administration locale, contractuels du projet, agents des organismes de développement, spécialistes étrangers, etc.) et par niveau professionnel: cadres supérieurs, cadres moyens, personnel de bureau et de service, etc.

3-23 Répartition des cours selon l'importance de la liaison avec les opérations de développement socio-économique (par exemple en pourcentage de séquences ayant une liaison directe avec le contenu professionnel).

3-24 Répartition des cours selon que l'instructeur est un agent du développement socio-économique (fonctionnaire ou employé de l'agence chargée du développement ou salarié de l'entreprise) ou un agent (fonctionnaire ou détaché ou contractuel) du projet d'alphabétisation.

3-25 Recettes budgétaires par source de financement (budget de

101

Evaluation des effets des composantes logistiques du projet

l'État, organisations internationales, aides bilatérales, collec­tivités locales, organismes de développement, organisations non gouvernementales, divers) et par chapitre d'affectation: per­sonnel, équipement, entretien, divers ; par année civile.

3-26 Dépenses en personnel (par région, technologie éducative et organisme de tutelle) réparties en services centraux (cadres et services); superviseurs et services; instructeurs; bourses.

3-27 Dépenses d'équipement par chapitre (bâtiment, mobilier, véhi­cules, matériel didactique) et par niveau : central, régional, local.

3-28 Dépenses d'entretien par chapitre (voir détails ci-dessus, sec­tion 3) et par niveau (central, local, régional).

3-29 Dépenses affectées à la recherche par chapitre (personnel, équi­pement, fonctionnement), et par année civile.

3-30 Coûts unitaires moyens par organisme de tutelle, région et technologie éducative: d 'un groupe de participants; d 'un super­viseur; d 'un instructeur; d 'un participant inscrit; d 'un parti­cipant qui abandonne au cours du 1e r cycle; d 'un participant qui abandonne au cours du 2 e cycle; d 'un participant diplômé du 1er cycle; d 'un participant diplômé en fin de second cycle.

L a plupart de ces tableaux devront être présentés par année civile.

5 Études explicatives

O n ne trouvera pas dans ce chapitre de types d'études comparatives inter-groupes ou diachroniques relatives aux indicateurs dont un très large tableau figure ci-dessus. La comparaison des bilans présentés chaque année par ces tableaux peut aider les dirigeants à aménager en conséquence leurs stratégies lorsqu'ils constatent que certaines régions ou technologies éducatives bénéficient de plus d'apports que d'autres.

Nous insisterons davantage sur les études de type explicatif, en présentant une série d'hypothèses qu'on pourrait tester grâce aux nombreuses données présentées dans les tableaux précédemment décrits.

Hypothèses relatives à l'organisation des cours

O n peut se demander si les facteurs qui interviennent dans l'organi­sation des cours ont une influence sur les divers taux qui reflètent le rendement quantitatif et qualitatif de l'action d'alphabétisation. O n va donc croiser les données rassemblées dans les tableaux 3-1 à 3-5 ci-dessus et celles qu'on peut obtenir à partir des données recueil­lies par les documents 2 et 3 (chapitre IV) et qu'on peut grouper dans

102

Évaluation des effets des composantes logistiques du projet

le cadre de tableaux similaires à ceux décrits dans le m ê m e chapitre (tableaux 1-5 à 1-15) pour les abandons. O n pourra alors répondre par l'affirmative ou la négative aux questions suivantes: Les taux: de couverture du programme, de participation, d'abandon,

de fréquentation, d'utilisation du temps, de participation aux épreuves terminales, de succès aux épreuves de fin de cycles varient-ils en fonction du local qui a été choisi pour les cours?

Ces divers taux subissent-ils une variation quand le participant habite au-delà d'une certaine distance du local où les cours ont lieu?

Le choix du m o m e n t de la journée où ont lieu les cours a-t-il une influence sur les divers taux énumérés ci-dessus.

La durée de la session quotidienne, le nombre de sessions hebdoma­daires, la longueur du cycle d'études ont-ils une influence sta­tistiquement significative sur les divers taux énumérés?

La place du cours dans l'année calendaire a-t-elle une influence sur les divers taux cités?

L'expérience a prouvé que dans bien des cas il faudra pousser l'ana­lyse plus loin. Ainsi, pour certaines hypothèses c o m m e celles rela­tives à la distance parcourue ou au m o m e n t de la journée retenu pour le cours, on aura intérêt à étudier le comportement des par­ticipants selon leur sexe et leur âge.

Hypothèses relatives à la constitution des groupes O n pourra entreprendre le m ê m e type d'études pour savoir c o m ­ment la constitution des groupes (homogènes ou non) influe sur les indicateurs dont on a fait état plus haut. O n croisera les données des tableaux 3-7 à 3-11 avec les données des tableaux qui fournissent les divers taux relatifs aux indicateurs statistiques de base concernant la participation aux programmes et les niveaux de connaissances atteints (voir chap. Il, section 4).

O n connaîtra ainsi l'influence de l'homogénéité des groupes (sur le plan du sexe, de l'âge, du statut socio-économique, de l'acti­vité professionnelle, de la qualification professionnelle, du niveau d'étude antérieur, de la langue), et on pourra décider quels sont les types d'homogénéité qu'il convient d'appliquer aux divers groupes pour obtenir un rendement maximal.

Hypothèses relatives aux aides matérielles apportées aux groupes

O n pourra opérer c o m m e ci-dessus en mettant en relation les don­nées des tableaux 3-12 à 3-18 avec les données relatives aux indica­teurs statistiques de base. O n saura ainsi si les divers taux mesurant le rendement des cours sont modifiés par les variations des facteurs suivants: Importance de l'équipement de base;

103

Evaluation des effets des composantes logistiques du projet

Quantité de matériel didactique attribuée au cours; Distance à parcourir par les participants et mode de transport; Importance des aides en nature, principalement alimentaires, reçues; Importance des autres formes d'aide; Importance de la supervision.

Hypothèses relatives au financement des cours

Il sera intéressant de vérifier certaines hypothèses relatives à l'influence de l'importance de la dépense sur la réussite. Ces études pourront être menées à divers niveaux d'agrégats: la région, la technologie éducative, par région pour chacune des diverses technologies éduca­tives. O n pourra descendre au niveau du groupe, à condition de par­venir à isoler les dépenses d'équipement, d'entretien et de connaître le coût moyen de l'instructeur et superviseur de la région ou de la technologie considérée.

Pour chaque agrégat retenu, on calculera les coûts en équi­pement (bâtiment, matériel didactique, mobilier), en charges récur­rentes et en matériel consomptible, puis on mettra ces données en relation avec les divers taux décrits plus haut.

O n peut aussi calculer les divers coûts unitaires moyens des groupes et des participants de ces divers agrégats et les mettre de la m ê m e façon en relation avec les m ê m e s indicateurs déjà cités. O n pourra peut-être savoir si l'importance de la dépense influe sur la réussite et quel chapitre de cette dépense a le plus d'importance pour le succès.

Si l'on peut étudier les coûts unitaires moyens de certains groupes (au niveau du groupe et de chaque participant), il sera inté­ressant de mettre ces nombres en relation avec les divers nombres de réussite aux tests, d'absences, etc. Il se pourrait que puisse se dégager une liaison entre les deux types de données qui ne manquerait pas d'intéresser les responsables de l'économie et de la stratégie du projet.

104

Évaluation des contenus YII des programmes

1 Buts

Il s'agit de vérifier que les programmes enseignés correspondent bien aux objectifs de formation qu 'on s'était fixés, qu'ils sont bien les plus économiques sur le plan financier et le plan pédagogique, donc les moins chers, les plus faciles à enseigner et les plus rapides à assimiler.

C'est donc d'abord un problème d'adéquation des programmes aux objectifs sociaux et économiques, à la population considérée sous son aspect social et psychologique, enfin aux grands principes de la méthode d'alphabétisation retenue. Cela revient en fait à vérifier si la méthode utilisée est une méthode relevant de l'alphabétisation fonctionnelle.

C'est ensuite un problème de rentabilité. Il s'agit de trouver le meilleur programme qui prépare le plus grand nombre de partici­pants à la réussite finale dans le moindre temps.

2 Domaines couverts Ils seront de deux sortes, l'évaluation pouvant être menée dans deux directions. D ' u n e part, on vérifiera que les programmes tendent bien à atteindre les divers objectifs fixés. E n d'autres termes, on se posera la question suivante: Enseigne-t-on réellement ce qu 'on se propose d'enseigner et de la façon dont on se propose de l'enseigner, et, en conséquence, mesure-t-on bien ce que l'on doit mesurer en définitive ? Rappelons que ce qui doit être en définitive mesuré, ce sont les effets

105

Évaluation des contenus des programmes

de l'alphabétisation sur la population concernée, dans les domaines culturels, sociaux et économiques. Cette évaluation fera l'objet du prochain chapitre.

Dans l'autre direction, on organisera la recherche de façon à obtenir les programmes les plus adéquats, c'est-à-dire les plus écono­miques non seulement sur le plan financier mais également, et sans doute surtout, sur le plan de l'effort demandé aux participants pour acquérir ces connaissances.

Pour le premier volet, les critères existent. C e sont : la liste des objectifs fixés, la liste des problèmes relevés que l'enseignement pro­posé doit s'efforcer de résoudre, la liste des intérêts correspondant aux attentes des individus. Tous ces critères ont été fixés lors des enquêtes préliminaires.

Pour le second volet, certains critères existent que l'on pourrait à la rigueur retenir. C e sont les normes classiques de la mesure de la connaissance (en lecture, écriture, calcul, etc.) que chaque pays a traditionnellement fixées dans ses écoles. Mais les projets d'alphabé­tisation s'adressent à des individus qui ne sont pas des écoliers. C e sont ou bien des adultes ou bien des enfants et des adolescents qui se situent en dehors de l'univers scolaire, univers généralement factice, artificiellement construit hors de la vie réelle. Les standards, les seuils critiques de l'acquisition des connaissances n'existent pas pour les programmes qui leur sont proposés. Pour ces individus, il faudra, chaque fois, mettre au point un programme spécifique dont on devra fixer les critères de réussite particuliers. E n effet, dans un enseigne­ment de type universaliste c o m m e l'enseignement scolaire, le critère marquant le seuil de réussite a été fixé par l'usage, tandis que dans un enseignement de type problématique c o m m e l'alphabétisation fonctionnelle, le critère dépend de chacun des problèmes retenus. Aussi, dans la quasi-totalité des cas, faudra-t-il innover, et par consé­quent expérimenter avant de généraliser.

C'est ainsi que les domaines couverts par l'évaluation des contenus des programmes d'alphabétisation sont de deux types: vérification de l'adéquation des programmes aux objectifs fixés (points i à iii ci-dessous), et organisation de l'expérimentation péda­gogique (point iv à vi ci-dessous). Il est évident que tous les domaines ne peuvent être ici abordés. Ont-ils d'ailleurs tous été résolus, voire abordés, dans les autres types d'enseignement, scolaires, universi­taires, réservés aux adultes (reconversion, perfectionnement), aux handicapés moteurs ou intellectuels ? Aussi nous bornerons-nous

106

Évaluation des contenus des programmes

à inventorier les grands domaines où la recherche pourrait s'exercer, et, à titre d'exemples, à décrire quelques directions que les projets pourront suivre si les moyens et l'opportunité existent.

i) Adéquation des programmes aux objectifs

Dans les premières pages du Guide pratique d'alphabétisation fonc­tionnelle, publié par l'Unesco en 1972, C h . Bellahsène souligne que: « L'efficacité d'une action d'alphabétisation fonctionnelle dépend étroitement de son adéquation aux objectifs et aux problèmes de développement du milieu socio-économique où elle doit s'exercer. La définition préliminaire d'une stratégie opérationnelle tenant compte de cette exigence fondamentale constitue, par conséquent, l'étape cruciale de toute intervention. »

Avant donc de mesurer les effets de cette intervention, l'éva­luation devra s'assurer en premier lieu que cette adéquation aux objectifs et aux problèmes de développement est réalisée au niveau des programmes. O n devra donc vérifier s'il y a coïncidence entre les divers objectifs de formation apparaissant dans chaque programme d'alphabétisation avec: Les objectifs économiques et/ou sociaux. Ceux-ci auront été précisés

au cours des études préliminaires. Us auront été répertoriés clairement, et leur ordre de priorité établi par les autorités responsables (voir chap. Ill, section 2).

Les objectifs technico-professionnels et socio-économiques. Ils auront été définis par les techniciens et sélectionnés c o m m e devant être atteints en premier lieu. C e sont les objectifs intermédiaires sur la voie des objectifs généraux du développement social et économique fixés par les responsables politiques (voir chap. Ill, section 4).

Les problèmes inventoriés au cours des études préliminaires sur la réalisation des objectifs technico-professionnels et socio-écono­miques, en matière de capacités, de compétences, de compor­tements au travail et dans les relations humaines, de réactions à l'environnement géographique, économique, social, culturel (voir chap. Ill, section 4).

Les objectifs culturels et pédagogiques, quand l'alphabétisation entre­prise ne fait aucune référence au développement social ou économique. Il s'agit alors simplement d 'un inventaire de connaissances de type scolaire.

107

Évaluation des contenus des programmes

ii) Adéquation des programmes à la population concernée

Cette adéquation est considérée c o m m e un principe essentiel de la méthode d'alphabétisation fonctionnelle. O n vérifiera donc si le programme envisagé tient compte des résultats de l'étude du milieu et des enquêtes de motivation (chap. Ill, section 3. v et vi), et plus particulièrement si le programme entrepris respecte : Les critères de sélectivité prévus: zone géographique ou culturelle,

âge et sexe, branche professionnelle ou catégorie sociale; Certains caractères spécifiques de la population sur le plan de la caté­

gorie professionnelle, de la qualification professionnelle, de la langue parlée ;

Certains intérêts et motivations manifestés par les participants. 11 s'agit de savoir si les programmes répondent aux attentes des individus.

iii) Coïncidence du déroulement du programme avec le plan prévu

Il s'agit de vérifier: si les séquences se sont déroulées dans l'ordre et à la date prévus; si toutes les composantes prévues ont bien été ensei­gnées; si les progressions prévues ont été respectées.

Ces études seront entreprises dans une optique de recherche des causes psychologiques ayant entraîné certaines défaillances tenant essentiellement à l'inadéquation du programme aux possibilités intellectuelles des participants, et non à des causes relevant du fonc­tionnement du projet, dues par exemple à l'organisation ou à l'envi­ronnement.

iv) Adoption des principes de base de la méthode

O n étudiera sur des groupes expérimentaux (voir chap. II, section 4 .C) , l'importance, sur la rentabilité du projet, de certains principes de base de la pédagogie particulière à l'alphabétisation fonctionnelle, tels que: Intégration des enseignements théoriques et pratiques; Principe d'intégration de l'alphabétisation aux autres éléments de

formation au niveau de la séquence, de la session ; Principe de globalité : inventaire des diverses composantes constituant

chaque technologie éducative: lecture, écriture, dessin; n u m é ­ration, calcul opératoire, arithmétique élémentaire, arithmé­tique professionnelle, géométrie, etc.; hygiène personnelle, hygiène professionnelle, alimentation, santé, prévention des

108

Evaluation des contenus des programmes

maladies, des accidents, etc.; histoire, géographie, toutes les techniques professionnelles enseignées, etc. ;

Principe de diversification des technologies, des techniques, des instruments éducatifs: inventaire des caractères pédagogiques spécifiques de chaque technologie éducative: séquences, compo­santes, ordre d'enseignement des séquences, instruments (pour livres, affiches, cassettes, émissions radiophoniques, émissions télévisées, guide de l'instructeur, fiches techniques, etc.). Pour chaque technologie, on donnera le nombre d'unités (séquences, composantes, livres, etc.) communes à tous les programmes, le nombre d'unités communes à quelques programmes, le nombre d'unités absolument spécifiques de la technologie édu­cative considérée et qu 'on ne retrouve dans aucune autre;

Principe d'adaptation du matériel à la méthode pédagogique utilisée, au profil professionnel de l'instructeur, au profil intellectuel du participant.

v) Les méthodes pédagogiques spéciales

O n peut étudier également sur des groupes expérimentaux quelles sont les méthodes les plus rentables pour chacune des composantes du programme. O n ne citera que quelques exemples, chaque expérimen­tation étant, en général, provoquée par les situations particulières des projets, et souvent par les intérêts que les méthodologues porteront à tel ou tel aspect pédagogique au fur et à mesure que des problèmes surgiront au niveau de la didactique, dans le déroulement des pro­grammes. Citons seulement: Pour l'apprentissage de la lecture: méthode globale, analytique; Pour l'apprentissage de l'écriture: avec ou sans entraînement gra­

phique préalable; Pour l'apprentissage du calcul : progression « fonctionnelle » ou pro­

gression classique, vitesse de l'étude de la numération, écriture et lecture des nombres en tant que tels, ou au m ê m e titre que les autres mots, etc.

vi) Le matériel didactique utilisé

C e domaine est également très vaste, car il embrasse non seulement le matériel de type scolaire, que les projets seront tentés d'utiliser parce qu 'on jugera qu'il a fait ses preuves dans les écoles ou par simple conformisme, mais encore le matériel spécifique de la techno­logie éducative enseignée, le matériel particulier à l'éducation des

109

Evaluation des contenus des programmes

adultes (en postalphabétisation, par exemple) et le matériel dit moderne, audio-visuel particulièrement.

O n distinguera les catégories suivantes :

Le matériel élaboré pour le participant (matériel individuel) : Lecture: livres de lecture 1er et 2 e degré, recueils de textes techniques,

planches de lettres mobiles, jeux de fiches de lecture, brochures spéciales (contes, proverbes, poésie), brochures techniques, etc.

Écriture: cahiers d'écriture, fichiers, etc. Calcul: livres de calcul, d'arithmétique élémentaire, d'arithmétique

professionnelle (par technique), carnets de calcul, fichiers, etc. Divers: cahiers de dessin, agendas, etc.

Le matériel élaboré pour le groupe (matériel collectif) : Affiches-problèmes, jeux d'affichettes, de photographies, de croquis,

de figurines, d'images pour « flanellographe ». Fichiers autocorrectifs de lecture, de calcul, d'enseignement tech­

nique, etc. Tableaux de lecture (valeur phonétique des lettres), tableaux de

tables de multiplication, cartes de géographie, tableaux synop­tiques divers (santé, technique).

Panneaux de lettres mobiles. Calendriers, etc.

Le matériel audio-visuel: Le matériel élaboré pour le groupe (voir ci-dessus). Journal mural (ou autre). Panneaux d'animation. Films pour cinéma ou télévision. Diapositives et films fixes. Émissions de radio et de télévision. Bandes magnétiques. Etc.

Le matériel pour Vinstructeur: Guides techniques pour l'enseignement de la lecture, de l'écriture,

du calcul, etc. Guides techniques pour le fonctionnement des appareils audio­

visuels ou autres (techniques). Fiches d'information et guides pour les programmes techniques

110

Evaluation des contenus des programmes

(élevage, culture du coton, filage et tissage, alimentation des enfants, prévention des accidents, etc.).

Cassettes, films, diapositives, émissions de radio pour la formation pédagogique, etc.

Matériel pour l'information et le perfectionnement culturel de l'ins­tructeur (enseignement par correspondance, etc.).

3 Instruments utilisés

D a n s ce chapitre c o m m e dans le suivant, l'évaluation présentant de très nombreuses facettes, les instruments de l'évaluation seront très variés. O n s'efforcera, dans tous les cas, de retenir les formes instru­mentales les plus objectives qui permettent une exploitation statistique aisée. O n fera cependant appel aussi à des instruments subjectifs, tels les jugements d'experts.

i) Les jugements d'experts O n les utilisera seulement dans les cas où l'observation, l'appréciation ne peuvent se référer à des critères mesurables. O n essaiera alors de définir des échelles du type suivant :

5, parfait — 4 , très satisfaisant-—3, satisfaisant — 2,incomplè­tement satisfaisant — 1, pas du tout satisfaisant. 5, très haut degré — 4, haut degré — 3, acceptable (beaucoup d'éléments favorables) — 2, insuffisant — 1, pas du tout ou très peu.

O n demandera à de nombreux spécialistes de la matière devant être appréciée de placer la chose jugée à l'un de ces niveaux. Puis on fera la moyenne des notes données. Cette sorte d'instrument sera surtout utilisée pour juger: D e l'adéquation des programmes aux objectifs généraux (supra 2.i).

Dans ce cas précis, la tâche pourrait être confiée aux experts de la commission ad hoc prévue lors de l'organisation du projet (voir chap. Ill, section 2 . vii).

D e l'adéquation des programmes aux critères de sélectivité et de spé­cificité de la population à laquelle ils sont destinés. Les experts rangeront les programmes, pour chaque critère retenu, dans une échelle de cinq points: 5, très sélectif ou spécifique — 4 , suffisamment sélectif ou spé­cifique — 3, moyennement sélectif ou spécifique — 2 , peu sélectif ou spécifique — 1, pas du tout sélectif ou spécifique.

111

Evaluation des contenus des programmes

D a n s les cas qui viennent d'être cités, il est préférable de recourir à l'opinion subjective d'experts de la matière jugée plutôt qu'à des instruments pseudo-objectifs c o m m e , par exemple, les pourcentages d'objectifs relevés ou de motivations exprimées, car on se heurte alors à un problème de coefficient de pondération et d'appré­ciation de la sincérité.

ii) Le rapport mensuel

Le rapport mensuel (voir doc. 2) donne dans son point « F » , pour chacune des composantes du programme, le nombre de sessions prévues et tenues au cours du mois, ainsi que les numéros des séquences enseignées et de celles quine l'ont pas été. Son point « G » donne les résultats des tests hebdomadaires.

iii) Le bilan de fin de cycle

Le bilan de fin de cycle (voir doc. 3) donne les résultats par épreuve aux examens de fin de cycle.

iv) La fiche signalétique des cours

La fiche signalétique des cours (voir doc. 6) donne tous les rensei­gnements relatifs au matériel didactique mis en place dans chaque cours.

v) Les tests

Les tests ont été examinés au chapitre V , section 3 et les question­naires et interviews au chapitre II, section 2.

vi) Les plans expérimentaux

Ils devront être préparés très finement au sein d'une équipe qui comprendra le méthodologue, les spécialistes en élaboration de pro­gressions, le psychopédagogue, un expert du sujet technique domi­nant de la technologie éducative concernée, un administrateur pour les questions matérielles et financières, et le technicien de l'évalua­tion. O n décidera du contenu de l'expérimentation, du nombre de groupes qui seront concernés, des instruments utilisés (type, contenu etc.), de la durée de l'expérience, de la forme d'exploitation et de présentation des données, du coût de l'opération, etc.

4 Études descriptives

O n les tirera des tableaux qui seront constitués à partir des données recueillies par les instruments décrits ci-dessus. O n trouvera ci-après une liste, non exhaustive bien entendu, des principaux tableaux

112

Évaluation des contenus des programmes

susceptibles de fournir les données de base des diverses expé­rimentations. 4-1 Répartition (mensuelle, trimestrielle ou par cycle) des cours

selon le nombre de séquences en retard (ou non enseignées), par région et technologie éducative.

4-2 Répartition (mensuelle, trimestrielle ou par cycle) des cours selon le nombre de séquences — ou de session — enseignées dans chaque composante du programme, par région et par

technologie éducative. 4-3 Répartition des cours par région et par technologie éducative,

selon les causes données par les instructeurs sur le mauvais fonctionnement du déroulement des cours: causes exogènes au programme (local non adapté, longues distances, manque de matériel, conditions météorologiques défavorables, etc.); causes endogènes (programme trop difficile, trop rapide, sans intérêt, inutile, etc.); causes provenant des individus (fatigue, maladie, incompétence, maternité, excès de travail).

4-4 Répartition des causes de mauvais fonctionnement des cours données par les participants des groupes ( c o m m e 4-3), par ré­gion et par technologie éducative.

4-5 Répartition du matériel didactique élaboré pour le participant (matériel individuel), par technologie éducative et par type de matériel, en nombre de spécimens différents.

4-6 Répartition du matériel didactique élaboré pour le groupe de participants (matériel collectif), par technologie éducative et par type de matériel, en nombre de spécimens différents.

4-7 Répartition du matériel didactique audio-visuel élaboré, par technologie éducative et par type de matériel, en nombre de spécimens différents.

4-8 Répartition du matériel didactique élaboré pour l'instructeur, par technologie éducative et par type de matériel, en nombre de spécimens différents.

4-9 Niveau de sélectivité des programmes selon la zone géogra­phique ou culturelle, la branche professionnelle, la catégorie sociale, etc.; par type de sélectivité retenu, par technologie éducative et par degré (de 5 à 1).

4-10 Niveau de spécificité des programmes, sur le plan de l'activité professionnelle (branche, secteur, produit) du niveau de quali­fication, de la langue, etc.: par technologie éducative, par type de spécificité retenu et par degré (de 5 à 1).

4-11 Niveau d'adéquation des programmes aux principaux intérêts et motivations manifestés par la population concernée, par technologie éducative, par type d'intérêt ou de motivation retenu, et par degré (de 5 à 1).

113

Évaluation des contenus des programmes

4-12 Répartition des technologies éducatives selon le pourcentage de temps du programme réservé aux enseignements pratiques (par mois, si nécessaire).

4-13 Répartition des technologies éducatives selon le degré d'inté­gration (de 5 à 1), au niveau de la séquence et au niveau de la session.

4-14 Répartition des technologies éducatives selon le nombre de sessions consacrées à chacune des composantes du programme: lecture, écriture, calcul, technique, santé, dessin, histoire, civisme, etc.

4-15 Répartition des techniques éducatives selon les caractères pédagogiques spécifiques ou c o m m u n s : séquences, c o m p o ­santes, instruments d'enseignement, etc. (voir supra, section 2, point iv).

4-16 Tableau des jugements d'experts sur l'adéquation des contenus de programme pour chacun des objectifs économiques retenus, par technologie éducative, par objectif économique et par degré (de 5 à 1).

4-17 Tableau des jugements d'experts sur l'adéquation des contenus de programme aux objectifs technico-professionnels et socio-économiques retenus, par technologie éducative, par objectif technico-professionnel et par degré (de 5 à 1).

4-18 Tableau des jugements d'experts sur l'adéquation des contenus de programme aux problèmes relevés sur le plan des capacités (connaissances intellectuelles et professionnelles à acquérir), des compétences (savoir-faire), des comportements (en matière d'habitudes de travail, de respect des normes de sécurité, d'hy­giène), des attitudes (à l'égard du modernisme, de la participa­tion, du développement, etc.), de l'environnement (lutte contre les duretés de la nature, les fléaux naturels ou épidémiolo-giques, etc.), par technologie éducative, par problème retenu et par degré (de 5 à 1).

4-19 Tableau des jugements d'experts sur l'adéquation des contenus de programme aux objectifs pédagogiques (connaissances à acquérir) et psychologiques (développement de la mémorisation, de l'esprit d'analyse-synthèse, de l'attention, du jugement, du transfert, etc.); par technologie éducative, par objectif péda­gogique et/ou psychologique retenu et par degré (de 5 à 1).

114

Evaluation des contenus des programmes

5 Études explicatives

Dans le domaine de l'évaluation des programmes d'alphabétisation (dans le sens de technologies éducatives), le champ des expérimenta­tions possibles est illimité. O n ne citera donc, pour chaque point, que quelques exemples d'hypothèses que l'on peut tenter de vérifier. O n notera que la plupart des études explicatives qui suivent comportent, à un m o m e n t ou à un autre, une partie comparative. Aussi laissera-t-on de côté les études typiquement comparatives.

i) Hypothèses relatives à l'adéquation des programmes aux objectifs du projet

Dans le chapitre précédent, on a pu se demander si une amélioration de la logistique du projet avait pour conséquence d'augmenter son rendement quantitatif et qualitatif. O n va se poser maintenant la question de savoir si le rendement est amélioré par une adéquation maximale du programme aux objectifs du projet.

O n pourrait construire un indice d'adéquation de la façon sui­vante: les objectifs économiques du projet d'alphabétisation ont été répertoriés et hiérarchisés lors des enquêtes préliminaires. Par la technique des jugements d'experts, on a pu attribuer à chacun des programmes (ou technologie éducative), une note qui est la moyenne des notes attribuées par les experts à chacun des objectifs économiques répertoriés (tableau 4-16). O n met en relation cette série de notes avec chaque série correspondant aux divers taux calculés (chap. Ill, sec­tion 4) pour chaque technologie éducative. Il s'agit des indicateurs relatifs à la participation (taux d'inscription, taux de fréquentation, taux de participation aux examens, etc.) et des indicateurs relatifs à la réussite (chap. IV et V ) . Ces diverses mises en relation permettront de savoir s'il y a liaison entre ces deux types de données, et quelle est l'importance du coefficient de corrélation ainsi calculé.

ii) Hypothèses relatives à ¡'adéquation des programmes aux populations concernées

D e la m ê m e façon, on peut construire des indices reflétant cette forme d'adéquation. O n se placera du point de vue de la technologie éducative enseignée, et à partir de chacun des tableaux 4-9,4-10,4-11, on construira un indice qui sera la moyenne des notes données par jugements d'experts à chacune des composantes de ces divers tableaux. O n mettra ensuite en relation les notes ainsi attribuées à

115

Evaluation des contenus des programmes

chaque technologie avec les divers taux que ces technologies ont obtenus dans les divers domaines considérés (participation, abandons, absentéisme, réussite aux tests, etc.). O n tirera ensuite les conclu­sions qui s'imposeront au vu des coefficients de corrélation calculés, et l'on pourra ainsi savoir si une bonne adéquation des programmes à la population concernée, au niveau de la sélectivité, de la spécifi­cité, du respect des intérêts des participants, a des effets favorables sur le rendement quantitatif et qualitatif des cours organisés.

iii) Hypothèses relatives au déroulement du programme

O n peut se demander si un mauvais déroulement du programme a pour causes des défaillances dans l'organisation des cours ou des difficultés provenant du programme lui-même. Pour le premier point, on mettra en liaison les données des tableaux 4-1 à 4-4 et celles des tableaux du chapitre précédent 3-1 à 3-30. O n choisira, bien entendu, ceux pour lesquels il existe une forte présomption de cette influence. Il sera intéressant de rechercher, par exemple, si certaines décisions c o m m e le choix du lieu et de l'horaire des cours, certaines caractéristiques du groupe (sexe, âge, niveau de qualification), certains détails de l'organisation matérielle (aides reçues), certaines caractéristiques des instructeurs (sexe, âge, h o m o ­généité socio-professionnelle), enfin, certains aspects de la dépense (équipement, entretien, coût moyen du groupe) ont des effets positifs ou négatifs, statistiquement vérifiés, sur le déroulement des cours.

O n peut mettre en relation les données des tableaux 4-1 et 4-2 avec les résultats des tableaux 4-3 et 4-4 indiquant les motifs de mauvais fonctionnement des cours, donnés séparément par les ins­tructeurs et les participants.

Enfin, l'ensemble des données fournies par les tableaux 4-1 à 4-4 fourniront des indications indispensables pour la vérification des hypothèses formulées à l'occasion des diverses expérimentations dont on trouvera ci-après quelques exemples.

iv) Hypothèses relatives aux principes pédagogiques de base de la méthode d'alphabétisation fonctionnelle

O n a eu l'occasion, avec les hypothèses répertoriées dans les trois points ci-dessus, de vérifier, d 'une part, si les programmes envisagés par le projet respectaient les principes stratégiques de base de l'alpha­bétisation fonctionnelle (adéquation aux objectifs économiques et à la population, sélectivité, spécificité) et, d'autre part, si le rendement de l'alphabétisation était meilleur quand ces principes étaient res-

116

Évaluation des contenus des programmes

pectés). O n va maintenant, avec les hypothèses ci-dessous, vérifier si les principes pédagogiques de base de l'alphabétisation fonction­nelle sont respectés par les programmes entrepris et, s'ils le sont, vérifier si le rendement quantitatif et qualitatif de ces programmes est meilleur.

Si, dans les conditions qu'on vient de définir, ce rendement est le meilleur, on pourrait pratiquement affirmer la qualité supérieure de la méthode d'alphabétisation fonctionnelle c o m m e méthode d'alphabétisation des adultes dans le pays où se trouve le projet. Encore faudrait-il démontrer que l'impact sur la population dans les domaines économique, social et culturel est réel et important. La recherche des moyens de cette démonstration sera présentée au chapitre suivant.

Hypothèses concernant les diverses formes d'intégration. L'inté­gration est l'un des premiers principes pédagogiques de l'alphabéti­sation fonctionnelle. O n a vu plus haut comment on peut essayer d'évaluer le degré d'intégration des programmes aux objectifs et au milieu. Voyons ici comment on peut évaluer les effets de l'intégration pédagogique.

O n va tenter de vérifier les hypothèses suivantes : Quand la démonstration pratique, ou mieux, la mise en application

du savoir-faire dans le milieu professionnel est concomitante de l'enseignement théorique, le rendement de l'enseignement, mesuré par les taux de participation, la réussite aux tests, le déroulement normal du programme (point iii ci-dessus), est plus élevé que lorsque les deux enseignements ne sont pas concomitants.

Quand il y a intégration au niveau des composantes (par exemple lecture et mathématiques avec la technologie, le dessin, etc.), le rendement, mesuré c o m m e ci-dessus, est meilleur que lorsque chaque composante suit sa propre progression.

Quand il y a intégration au niveau de la séance (écriture, lecture, cal­cul, dessin, technologie, mêlés en un seul enseignement non structuré en matières différenciées) le rendement est encore supérieur.

Il faudra apparier des échantillons de groupes et appliquer à chaque ensemble de groupes un curriculum différent quant à la forme, l'em­ploi du temps, le matériel didactique, les guides de l'instructeur, mais identique quant aux objectifs, aux contenus, au nombre et à l'ordre des séquences et des sessions. Il sera avantageux d'expérimenter en

117

Evaluation des contenus des programmes

début de cycle et sur une période assez longue. Les données seront relevées par les tableaux 4-12 et 4-13.

Hypothèses concernant le principe de globalité. L'alphabétisation fonctionnelle est une méthode de formation globale de l'individu. O n peut faire l'hypothèse que plus un programme englobe des champs de connaissances différents, plus la participation des individus sera importante, et plus la réussite des participants aux examens de fin de cycle sera manifeste. O n pourra mettre en liaison les données du tableau 4-14 avec les divers taux de participation, de réussite et de déroulement du programme. O n peut pousser plus loin l'analyse et envisager, pour certaines composantes, une décomposition en élé­ments. Par exemple, pour les mathématiques, numération, calcul opératoire, arithmétique élémentaire, arithmétique professionnelle, géométrie, conversions et échelles, etc. Pour la santé, hygiène per­sonnelle, hygiène professionnelle, prévention des maladies, des acci­dents, alimentation, alimentation des enfants, hygiène de la femme enceinte, etc.

Hypothèses concernant la diversification des techniques éduca­tives, des instruments. Corollaire obligé de l'approche problématique, sans laquelle il n'est pas d'alphabétisation fonctionnelle, la diversifi­cation des technologies éducatives, des composantes, des contenus, de l'ordre séquentiel des enseignements, des priorités, des instruments d'apprentissage (livres, affiches, fiches, cassettes, radio, télévision, etc.), est une caractéristique évidente des programmes. D u tableau 4-15, on pourra tirer un indice qu 'on mettra en relation avec les taux de participation, de réussite aux examens et de déroulement de pro­g r a m m e .

O n pourra adjoindre à ce type d'hypothèse celles qui se rap­portent à l'adaptation du matériel pédagogique, au type de méthode utilisé, au profil de l'instructeur, au niveau de connaissances antérieur (intellectuelles et technologiques) du participant.

Hypothèses relevant des méthodes pédagogiques spéciales

O n s'intéressera surtout à la lecture, à l'écriture et au calcul. O n appariera des groupes dont on étudiera le comportement et les résul­tats. O n utilisera des tests intermédiaires similaires pour lesquels on calculera les pourcentages de réussite par item. O n essaiera d'annuler les influences des autres variables (organisation, environnement, etc.). O n mettra les résultats finals (ou intermédiaires) des divers groupes expérimentaux en relation avec les données correspondant à ces

118

Évaluation des contenus des programmes

m ê m e s groupes dans des domaines tels que le coût, la durée de l'apprentissage, l'opinion des participants sur la difficulté d'apprendre, la qualité de la rétention, etc., et bien entendu avec les critères de base que sont les divers taux de participation, de réussite aux examens de fin de cycle et de bon déroulement du programme.

L'expérimentation portera sur la recherche et la mise au point des méthodes d'enseignement les plus adéquates aux groupes de popu­lations concernés, et cela pour chacune des principales composantes. Le domaine est illimité et il sera bon de se référer aux ouvrages spé­cialisés dans l'enseignement des adultes. Voici, à titre d'exemples, quelques sujets de recherche. Pour la lecture: méthode globale, analytique, mixte, etc.; apprentis­

sage de la lecture sans écriture; apprentissage de la lecture avec faible ou forte intégration dans les autres composantes, etc.

Pour l'écriture: choix du type de lettres; apprentissage avec ou sans entraînement graphique, avec ou sans développement préalable de l'habileté manuelle, selon le degré d'intégration avec les autres composantes, principalement techniques (fonctionnalité).

Pour les mathématiques: avec ou sans intégration avec les autres matières, principalement techniques; rapidité de l'étude de la numération; apprentissage préalable sur une base de calcul différente de la base 10, mais usuelle dans le groupe considéré; progressions « scolaires » ou « fonctionnelles », etc.

Pour le vocabulaire nouveau (technique généralement) : apprentissage avec ou sans lecture et écriture.

Pour les programmes enseignés dans une langue non maternelle: vitesse d'acquisition selon que la langue est apprise oralement ou avec lecture et écriture, etc.

vi) Hypothèses concernant le matériel utilisé

Pour chaque type de matériel utilisé, on peut se demander si le contenu correspond bien aux objectifs initiaux, s'il est logiquement construit, s'il est psychologiquement adapté au niveau des partici­pants, s'il correspond bien à leurs intérêts et, par conséquent, s'il retiendra leur attention, si le langage utilisé est aisément compris, si les illustrations sont adaptées, etc.

O n peut également proposer de nombreuses hypothèses sur le côté technique de la fabrication du livre, par exemple son coût, sa solidité, ses chances de durabilité ou d'obsolescence, sa présentation graphique, etc. A ces types de recherche, on pourra ajouter ceux qui suivent pour les matériels particuliers suivants:

119

Évaluation des contenus des programmes

Livres: ¡I sera bon de rechercher quelle est la meilleure dimension des lettres (recherche du cicero optimal) composant les livres, l'espace optimal entre les lettres, les mots, les lignes.

Affiches: on fera le m ê m e travail de recherche pour les lettres, puis on recherchera quels sont les types d'illustrations qui convien­nent le mieux (offset, photographies, dessins au trait, etc.). O n s'attachera enfin à vérifier qu'il n'existe pas de problème de compréhension des images et des symboles.

Cassettes: les travaux de recherche viseront la compréhension du langage, la vitesse d'élocution, les temps de silence, les pro­blèmes de manipulation, d'entretien, etc.

Radio, télévision: on entreprendra les m ê m e s types de recherche que pour les cassettes et on y ajoutera les suivants: horaires d'écoute, durée d'émission, rétention, etc.

120

Évaluation VIII des changements escomptés

1 Objet et méthode générale

L'hypothèse centrale de l'alphabétisation fonctionnelle énonce que les individus alphabétisés deviennent des agents plus efficients dans un processus de développement socio-économique. O n suppose donc au départ que l'alphabétisation fonctionnelle devrait avoir une influence marquante sur l'amélioration du m o d e de vie des individus et sur la croissance économique de la région qu'ils habitent.

Cette mesure des changements doit être opérée à moyen et à long terme, car l'influence de l'alphabétisation, selon les cas, peut se faire sentir de manière négative à moyen terme sur l'économie, puis de façon positive à long terme. Par exemple, dans un programme d'amélioration de la production de café, si les cours d'alphabétisation fonctionnelle ont convaincu les paysans de recéper leurs pieds de caféiers par tailles quinquennales, il est certain que la mesure de la production dans les deux premières années qui suivent la taille va indiquer une baisse marquée de la production ; les troisième et qua­trième années, la mesure indiquera une hausse vraisemblablement sensible, et ce n'est qu'à partir de la sixième année que la plantation produira le m a x i m u m prévu.

D e m ê m e , au niveau des individus, la mesure des changements devra être considérée avec prudence. E n effet, un apport nouveau dans une société stable peut provoquer des modifications dans des domaines lointains, particulièrement quand il s'agit d'apports de nature intellectuelle. Les transferts se font, en effet, plus nombreux et rapides au fur et à mesure que l'enseignement utilise des modes

121

Évaluation des changements escomptés

d'abstraction plus élaborés, et l'activité humaine s'en trouve profon­dément modifiée.

O n traitera l'étude des changements à deux niveaux, celui des communautés et celui des individus. E n résumé, il s'agit en premier lieu, à ces deux niveaux, de percevoir, de délimiter, puis de quantifier et de mesurer des changements qui ont été prévus et définis dans les objectifs du programme. Dans un deuxième temps, il s'agira de c o m ­parer les changements relevés à ceux qu 'on avait escomptés et qui avaient été explicités en nature et niveau au m o m e n t de la définition des objectifs.

La méthode utilisée sera celle des comparaisons diachroniques d'échantillons appariés (témoins et expérimentaux), décrite au cha­pitre 2 , section 4 . Pour vérifier les hypothèses retenues, on mettra donc en place un appareil statistique qui devrait permettre de vérifier si: Des changements positifs, vus sous l'angle du développement écono­

mique et social, se manifestent dans les villages où un centre d'alphabétisation a été mis en place (échantillon expérimental A ) ;

Des changements positifs se manifestent dans des villages où l'on ne pratique pas l'alphabétisation (échantillon témoin B ) ;

Les changements qui interviennent dans la zone A sont bien dus à l'action d'alphabétisation et non à celle d'autres actions telles que la vulgarisation agricole, par exemple;

L'action d'alphabétisation liée à une autre action provoque plus d'effets positifs que lorsqu'elle se développe seule;

Les changements dus à l'alphabétisation sont harmonieux ou désé­quilibrants pour la société;

Etc.

2 Domaines couverts O n aborde ici le domaine de l'évaluation externe. Les domaines couverts par l'étude peuvent être très étendus puisqu'ils touchent à tous les aspects quantifiables de l'activité humaine, dont les effets peuvent être modifiés par l'alphabétisation des individus qui la pro­duisent. Les limites des domaines couverts par ce type d'évaluation seront donc fixées par la définition des objectifs, quand ceux-ci ont été explicités en termes précis. A partir des objectifs retenus, on pourra choisir les critères de changement, les indicateurs et les indices les plus aptes à fournir une mesure fiable. Rappelons qu'on a retenu le

122

Évaluation des changements escomptés

terme « critère de changement » pour désigner tout domaine (ou partie de domaine) qui risque d'être modifié sous l'effet prévisible de l'action du projet. Par « indicateur », on entend la variable ou le phénomène dont la présence et la mesure sont essentielles pour l'appréciation de l'efficacité du projet. L'indicateur doit être pratique, facilement mesurable, maniable. L'unité de sa mesure devra être choisie de façon à permettre d'obtenir une différenciation aisée des valeurs. Souvent, on aura affaire à plusieurs variables qu'il sera plus logique et pratique de grouper, pour en tirer une valeur unique qui sera alors considérée c o m m e indicateur. O n aura alors constitué un « indice ».

O n trouvera dans le « Tableau des dimensions, critères et indi­cateurs pour un programme d'alphabétisation fonctionnelle » (voir doc. 7) un exemple de recherche d'indicateurs, recherche qui précède normalement la mise au point d 'un questionnaire (voir chap. II, section 2).

C e tableau précise les grands domaines de l'activité humaine où l'on espère que l'alphabétisation fonctionnelle va provoquer des changements favorables. Rappelons-les, en indiquant qu 'on trouvera dans le Document technique V I de l'Évaluation globale du Programme expérimental mondial d'alphabétisation, intitulé Alphabétisation fonc­tionnelle et développement: les effets économiques et sociaux du pro­cessus d'enseignement-apprentissage, une large description du type de travaux qu 'on peut entreprendre dans ce domaine: Vouloir changer.

Savoir acquérir des connaissances. Vouloir et savoir s'insérer dans le milieu social et culturel: savoir

prévoir, organiser, résoudre (dimension prospective); savoir s'informer, communiquer et diffuser (dimension cognito-acquisitive et heuristique); savoir et vouloir coopérer (dimension intégrationnelle).

Chercher à maîtriser le milieu matériel et humain : savoir quoi faire, savoir faire et faire (sur le plan de la production) ; savoir quoi faire, savoir faire et faire (sur le plan de la conservation de la force de travail).

Vouloir transformer le milieu économique et psychoculturel: élever son niveau de vie (dimension économique); s'orienter vers le changement, l'innovation (dimension attitudinale).

Les domaines, critères et indicateurs de ce tableau ne sont donnés qu 'à titre d'indications. Ils ne présentent ni un caractère minimal ni un caractère exhaustif.

123

Évaluation des changements escomptés

3 Instruments utilisés

Pour l'évaluation des effets économiques et sociaux du processus d'alphabétisation fonctionnelle, on devra utiliser la plupart des instruments décrits jusqu'ici, mais principalement les questionnaires, les fiches d'observation, les interviews. O n insistera seulement sur deux points :

i) Tests de savoir-faire

D a n s bien des cas, on devra faire la différence entre le « savoir-faire » acquis par le participant aux cours, et le « faire » qui marque bien sa résolution de changer et d'adopter de nouvelles techniques, son atti­tude favorable à l'innovation. O n trouvera en annexe (doc. n° 4) un exemple de test de savoir-faire. Le test devra être construit par l'éva-luateur, en collaboration avec les méthodologues du projet et le technicien agricole, ou l'ingénieur d'exécution de l'entreprise.

ii) Constitution d'indices

Le c h a m p technique où la quête de l'indicateur adéquat peut s'exercer est très vaste et, au m o m e n t du traitement des données, la mise en relation d'une infinité de mini-indicateurs avec d'autres variables peut exiger une telle masse de travail que l'on se trouvera dans bien des cas contraint d'abandonner des indicateurs pourtant utiles. Aussi devra-t-on souvent avoir recours à la constitution d'indices (agrégats d'indicateurs) qui risqueront parfois d'être jugés arbitraires, voire fallacieux. O n aura à résoudre des problèmes de représentativité et de coefficient et l'on devra aborder des techniques qui ressortissent aux domaines des tests ou de la docimologie.

Voici quelques exemples de constitution d'indices: Indice « Amélioration des façons culturales en riziculture ». O n

comptera un point pour chaque réponse positive aux observa­tions suivantes : Le paysan réalise, aménage, améliore les travaux de petite

hydraulique (il se préoccupe de maîtriser l'eau). Il fertilise le sol. Il utilise les variétés améliorées (haut rendement) qui lui sont

conseillées. Il emploie les méthodes de riziculture améliorées qui sont

diffusées dans la zone (repiquage en lignes) partout où c'est possible, il remplace le piétinage du sol par les

124

Évaluation des changements escomptés

bœufs (d'usage courant à Madagascar) par le labourage mécanique.

Il pratique une « double culture » partout où c'est possible. Il organise la défense des cultures (lutte contre le pou du riz,

les rats, les oiseaux). Indice « Lutte anti-érosive » (un point par observation). Cet indice

s'applique à une communauté. La culture du riz sec sur brûlis, en zone de forêt, diminue. L'abattage de bois forestier sur sol accidenté ou fragile diminue. Les feux de brousse ravageurs de la couverture végétale

diminuent. L'élevage est rationalisé afin d'éviter tout surpâturage local

générateur d'érosion. Le reboisement est entrepris. Sur les collines, les cultures sont entreprises selon les courbes

de niveau, en terrasses ou banquettes. Indice « Importance des changements relatifs à l'amélioration en

matière d'hygiène, de santé et d'alimentation ». L'indice pour­rait être la s o m m e des points recueillis aux items suivants : A u cours de l'année, l'individu concerné : A eu des crises de paludisme A été atteint de bilharziose A souffert d'affections intestinales A suivi un traitement préventif ou curatif :

contre la bilharziose contre le paludisme (nivaquinisation)

A subi des vaccinations (ou ses enfants) S'adresse, en cas de maladie, au médecin ou à l'infirmier + Se lave chaque jour Utilise chaque fois du savon Lave régulièrement ses vêtements chaque semaine Utilise des W . C . Porte les déchets à un trou à ordures Entretient les poulaillers, étables, etc.

O n peut allonger la liste en y incorporant l'hygiène de l'eau, l'alimen­tation, la puériculture, etc.

— — —

+ + + + + + + + + +

Ipt Ipt Ipt

Ipt Ipt Ipt Ipt Ipt Ipt [pt Ipt Ipt Ipt

125

Évaluation des changements escomptés

4 Études descriptives

A partir des tableaux fournissant les données relatives aux indicateurs des changements attendus dans les domaines économiques, sociaux, culturels, on peut entamer de nombreuses études descriptives des situations, à différents moments de l'action.

Il est indispensable d'opérer les relevés des données initiales avant le démarrage de l'action. O n peut ensuite procéder à une enquête intermédiaire afin de vérifier que le statut socio-économique des parti­cipants commence à évoluer, cette enquête étant menée dans le but d'agir sur le contenu de l'enseignement au cas où les données relevées ne refléteraient pas une situation escomptée au départ.

Puis on procédera à des enquêtes similaires à intervalles régu­liers, après la réalisation du premier programme d'alphabétisation. E n effet, certains changements attendus peuvent apparaître avec len­teur car il est rare que des changements d'attitudes provoquant des modifications dans les comportements sociaux ou économiques se manifestent rapidement. Des phénomènes de réflexion, de maturation vont jouer, parallèlement à des phénomènes d'organisation de la lutte contre le risque de phagocitose par le milieu, et à des phénomènes d'écho et de renforcement provenant des nouvelles générations sortant alphabétisées des cours entrepris. Plus ces générations seront n o m ­breuses, plus rapides se feront les transformations escomptées.

Les domaines où les changements attendus doivent se mani­fester sont très vastes. Aussi n'est-il pas envisageable d'en dresser un large tableau. O n a cependant présenté en annexe un document qui rassemble les dimensions, critères et indicateurs retenus pour un programme d'alphabétisation de mineurs de fond (voir doc. 7) qui, dans bien des cas, cultivaient également un lopin de terre. Chaque projet pourrait s'en inspirer.

5 Études comparatives L'évaluation externe des effets socio-économiques de l'alphabétisation fonctionnelle est un domaine privilégié pour des études de type comparatif. Les comparaisons pourraient, à la limite, être faites pour chaque indicateur.

E n effet, dans les recherches relatives à la pédagogie, on va faire varier un élément de l'appareil didactique (utilisation du manuel, application d'une méthode, expérimentation d 'un instrument, sys-

126

Évaluation des changements escomptés

tème séquentiel ou intégré, etc.) dont on va imposer les diverses présentations ou modulations à des groupes différents mais appariés pour qu'ils restent les plus semblables possible sur le plan des autres variables.

O n comparera les performances des divers groupes avant l'expé­rience (hypothèse d'homogénéité de la variance, par exemple) pour s'assurer que les groupes sont bien semblables. O n obtiendra alors des résultats A pour le groupe expérimental et des résultats B pour le groupe témoin, qui seront similaires ou non significativement différents sur le plan statistique. Dans un deuxième temps, après l'expérimentation, on comparera de nouvelles performances'(A' pour le groupe expérimental et B ' pour le groupe témoin), d'abord entre elles, par une épreuve d'homogénéité de la variance, afin de rechercher si, conformément à l'hypothèse de départ, il apparaît maintenant une différence entre les deux groupes. Dans ce cas, l'hypothèse se trouverait confirmée. O n comparera ensuite entre elles les perfor­mances A et A ' d 'une part et B et B ' d'autre part. Les différences entre A ' et A devront être plus élevées et statistiquement significatives que les différences relevées entre B ' et B .

L a différence due aux effets de l'alphabétisation, mesurée par l'expérimentation réalisée, pourrait être ainsi formulée :

D = (A' — A) — (B' — B) Il s'agit là de comparaisons endogènes à l'action éducative. O n

peut imaginer des comparaisons de groupes de participants aux cours d'alphabétisation avec d'autres groupes soumis à d'autres formes d'éducation des adultes.

Par exemple, des participants suivent un stage de vulgarisation agricole, ou des ouvriers un stage de perfectionnement professionnel. O n comparera, après le stage, les performances techniques, les appli­cations des innovations recommandées, du groupe de participants avec celles du groupe de paysans — ou d'ouvriers — restés analpha­bètes. O n peut encore comparer à des groupes de participants d'autres groupes inscrits à un cours d'alphabétisation du type traditionnel.

Afin d'éviter les dispersions et les redites, on a préféré rassem­bler dans la section suivante toutes les études relatives à l'évaluation externe.

127

Évaluation des changements escomptés

6 Études explicatives

C o m m e dans les chapitres précédents, on citera ci-après quelques études qu'il est possible de mener à partir d'hypothèses simples, qu'on peut formuler d'après la liste des objectifs exprimés.

Les données en seront la plupart du temps fournies par les tableaux construits à partir des indicateurs décrits dans le document 7 en annexe (cf. supra, section 2). Certaines de ces hypothèses ont été testées par l'équipe chargée de l'évaluation globale du P E M A , qui les a généralement explicitées sous une autre forme (voir doc. 8).

Pour terminer, nous présenterons le dernier volet d 'un essai d'évaluation globale du projet, déjà évoqué à plusieurs reprises dans les chapitres précédents.

i) Hypothèses relatives à la volonté de changement

Pour vérifier ce type d'hypothèses, on se référera aux enquêtes préa­lables menées dans le contexte des recherches préliminaires relatives à la faisabilité du projet (voir chap. Ill, section 3. v). O n fera l'hypo­thèse que les adultes nouvellement alphabétisés avaient manifesté avant le commencement de l'enseignement, plus que ceux qui sont restés analphabètes, leur volonté de changement en fournissant des motivations plus importantes et plus variées pour l'apprentissage: Des techniques de base de l'alphabétisation — lecture, écriture,

calcul; Des connaissances relatives aux moyens de production (origine de

la firme, importance, expansion, autres emplois, etc) ; Des connaissances relatives aux possibilités fournies par la profession

exercée: technicité, perfectionnement, promotion; Des connaissances intellectuelles nécessaires à l'exercice de leur vie

professionnelle : calcul des poids, cubages, forces, vitesses, ren­dements, etc. ; dessin et croquis coté, etc. ;

Des connaissances touchant à la technique particulière de leur poste de travail ou du métier exercé ;

Des connaissances relatives à l'entretien et à l'amélioration de leur force de travail;

Des connaissances touchant aux relations avec le m o n d e extérieur physique et géographique (les pays, le ciel, la météorologie, etc.) ;

Des connaissances concernant le m o n d e économique: l'argent, le commerce, le coût, les impôts, etc. ;

Des connaissances concernant le m o n d e social, politique, religieux

128

Evaluation des changements escomptés

(histoire, civisme, syndicalisme, fonctionnement de la société et de l'État, etc.).

O n fera également l'hypothèse que, plus que les autres, les partici­pants : Avaient donné un nombre important de motifs de s'alphabétiser; Avaient donné une appréciation plus exacte de la durée de l'appren­

tissage; Désiraient changer de métier, de poste de travail ; Désiraient voyager, partir, voir autre chose. C o m m e il était impossible, au m o m e n t des enquêtes préalables, de former les échantillons des groupes expérimentaux et témoins, on fera passer le m ê m e questionnaire aux participants dès les premiers jours après l'inscription, puis on constituera un groupe témoin apparié.

ii) Hypothèses relatives à l'insertion dans le milieu social et culturel: dimension prospective

O n fait l'hypothèse que les adultes alphabétisés deviennent plus aptes que les analphabètes à adopter des comportements impliquant une meilleure prévision de l'avenir. O n étudiera cette dimension prospec­tive sur trois points : la scolarisation des enfants, la gestion prévision­nelle économique et la gestion prévisionnelle familiale. Les données seront fournies par les indicateurs décrits dans le document 7 cité en annexe.

Scolarisation des enfants. O n recherchera si le nombre d'enfants scolarisés des adultes alphabétisés est plus élevé que pour les adultes analphabètes, et si les abandons scolaires sont moins fréquents chez les premiers que chez les seconds. O n peut utiliser la technique des comparaisons diachroniques d'échantillons appariés de participants et de non-participants aux cours d'alphabétisation. O n peut également comparer aux taux de scolarisation et d'abandons scolaires des vil­lages où ont lieu les cours, les m ê m e s taux calculés sur les enfants des participants aux programmes d'alphabétisation.

Gestion prévisionnelle économique. O n étudiera plus loin (en vii), l'analyse du budget familial. O n va ici tenter de vérifier les hypothèses suivantes : Les individus alphabétisés essaient d'augmenter leurs revenus; L a tenue des comptes familiaux est plus fréquente ; L a structure des dépenses de consommation courante varie (diminu-

129

Evaluation des changements escomptés

tion du poste alimentation au bénéfice des postes hygiène, santé, loisirs, etc.) ;

Les investissements de type moderne augmentent; Les emprunts (et prêts) aux taux usuraires diminuent au bénéfice des

emprunts et prêts de type moderne (banque, crédit agricole, etc.); Les réserves et stocks ont tendance à augmenter et à se structurer

selon les conseils donnés par les enseignements; Les investissements productifs (ou de première utilité) augmentent

aux dépens des investissements non productifs ou de prestige; L a liste des biens d'équipement se modifie dans le sens des innovations

recommandées. Les indicateurs q u ' o n retiendra devront avoir fait l'objet, ou dépendre indirectement (transfert intellectuel), d'enseignements comportant la recommandation d'innovations à adopter.

Gestion familiale prévisionnelle. O n testera les hypothèses sui­vantes selon lesquelles, chez les individus alphabétisés par rapport aux analphabètes : L e n o m b r e d'enfants est moins élevé; Les connaissances sont mieux réparties dans le temps ; Les procédés contraceptifs sont plus souvent utilisés ; O n souhaite avoir moins d'enfants.

iii) Hypothèses relatives à Vinsertion dans le milieu social et culturel: dimension cognito-acquisitive et heuristique

O n va faire l'hypothèse que les adultes soumis à l'alphabétisation fonctionnelle adoptent plus volontiers des comportements favorisant l'acquisition autonome de connaissances, en dehors de toute incitation directe et immédiate. Pour cela, on essaiera de tester les propositions rassemblées sous les trois points suivants :

Utilisation des mass media: le n o m b r e de moyens de grande information augmente, ainsi que le temps et la fréquence de l'utilisa­tion; l'utilisation des moyens de grande information se fait dans u n sens favorable au développement social, économique et culturel de l'individu (écoute sélective de la radio, recherche d'informations techniques dans la presse, etc.)

Utilisation sociale et informative de la lecture et de récriture: Les néo-alphabètes ont tendance à utiliser davantage la correspon­dance pour informer et s'informer; ils utilisent davantage les services de l'administration par l'usage des formulaires mis à leur disposition;

130

Evaluation des changements escomptés

ils utilisent les renseignements personnels « mis en mémoire » par écrit au moyen d'agendas, carnets, almanachs, etc.

Recours à d'autres sources d'information et d'assistance. Chez les adultes alphabétisés, le nombre de conseils demandés, la recherche d'avis ou d'aides techniques auprès d'organisations professionnelles, d'organismes d'aides sociales, de prêts, de conseils familiaux, etc., augmentent, ainsi que le nombre de voyages entrepris dans un but d'information ou d'amélioration du genre ou du niveau de vie.

iv) Hypothèses relatives à l'insertion dans le milieu social et culturel: dimension intégrationnelle

O n fait là l'hypothèse que les adultes soumis à l'alphabétisation fonc­tionnelle aspirent, plus que les autres, à participer plus profondément aux diverses organisations collectives que leur offre le milieu, et appa­remment à coopérer plus efficacement. Ils favorisent ainsi le dévelop­pement de la solidarité et de la concertation. O n peut imaginer de nombreuses hypothèses s'inspirant des indicateurs susceptibles d'être relevés dans les directions de recherche retenues.

v) Hypothèses relatives à la maîtrise du milieu matériel et humain (sur le plan de la production)

O n fait l'hypothèse que le niveau des compétences techniques liées à toutes les formes de production de l'adulte alphabétisé est plus élevé que chez l'analphabète. D e m ê m e pour la qualité du comporte­ment au travail, provenant d'une meilleure compréhension des habi­tudes de travail susceptibles de favoriser une augmentation de la production.

Avec les données des tableaux du document 7, on peut essayer de tester les hypothèses ci-dessous.

Chez les adultes formés par l'alphabétisation fonctionnelle, comparés aux analphabètes : O n relève une augmentation de la qualification professionnelle entre

le statut antérieur à l'alphabétisation et le statut qui suit; Les jugements portés par les cadres professionnels (ingénieurs, tech­

niciens, contremaîtres) sur l'exécution du travail en quantité et qualité sont plus favorables;

L'absentéisme diminue et la ponctualité augmente; Les normes de sécurité du travail sont mieux respectées et les accidents

diminuent en nombre, en gravité et en jours de travail perdus; Le comportement à l'égard de la machine et des outils dénote une

131

Evaluation des changements escomptés

meilleure connaissance et une meilleure compréhension des pratiques technico-productives (respect des normes techniques, entretien plus régulier, propreté de l'environnement et de la machine, adoption d'innovations ou amélioration de pratiques agricoles, etc.) ;

Le gaspillage de matière et/ou de temps est moins important et a tendance à diminuer;

L a demande et la participation aux stages de perfectionnement pro­fessionnel est plus importante (en durée, fréquence, et niveau) ;

A incitation égale pour les deux groupes à adopter des pratiques technico-productives modernes visant à augmenter le rendement (stages de perfectionnement, vulgarisation agricole), les parti­cipants aux cours d'alphabétisation opposent le moins de résistance;

L'adoption de normes technico-productives plus rationnelles (calen­driers agricoles, façons culturales, procédés artisanaux, etc.) sera plus élevée et de plus grande envergure;

L'adoption de produits modernes ou nouveaux (engrais, pesticides, semences sélectionnées, cultures nouvelles, etc.) sera plus rapide et plus massive.

vi) Hypothèses relatives à la maîtrise du milieu matériel et humain (au plan de la conservation et du renouvellement de la force de travail)

O n fait là l'hypothèse que les adultes alphabétisés adoptent plus volontiers les pratiques modernes relatives à la conservation de la force de travail et de la vie humaine et à leur reproduction. Plus que chez les adultes restés analphabètes: Les vaccinations et autres modes de prévention contre les épidémies

sont nombreuses ; Le recours à la médecine moderne en cas de maladie et d'accouche­

ment est fréquent ; L a mortalité et la morbidité infantiles sont en régression ; L a possession de pharmacies familiales s'affirme; Les pratiques d'hygiène personnelle augmentent par unité de temps

(bains, douches, brossage des dents, etc.) ; L'alimentation est variée; L'hygiène alimentaire est respectée (usage de filtres, ebullition du lait,

de l'eau, etc.).

132

Évaluation des changements escomptés

vii) Hypothèses relatives à la transformation du milieu économique

O n aborde enfin les hypothèses qui tentent de vérifier si les actions d'alphabétisation fonctionnelle entreprises ont atteint leur but final, qui est de transformer le milieu dans un sens favorable sur les plans économique, social, psychologique, culturel. O n va d'abord tenter de vérifier si le niveau de vie s'est élevé. O n comparera les données des tableaux relatifs aux divers revenus relevés pour des échantillons de participants et de non-participants avant et après (à plusieurs inter­valles) l'action d'alphabétisation. Ces comparaisons devraient per­mettre d'accepter ou de rejeter un certain nombre d'hypothèses avançant que chez les adultes alphabétisés, plus que chez les anal­phabètes :

Le revenu monétaire a augmenté ; Le nombre de personnes de la famille recevant un salaire s'est élevé; Le revenu monétaire global net par m e m b r e de la famille s'est élevé; Les facteurs de production sont plus diversifiés ; Le volume de l'endettement a diminué ; Les moyens de production ont augmenté en nombre, nature et valeur

(équipements destinés à la production, à l'entretien, aux transports) ;

Le volume de la production est plus élevé ; L a valeur de la production est plus élevée; Le patrimoine a augmenté ; La consommation de biens durables est plus forte; Les dépenses consacrées au genre de vie (amélioration de l'habitat,

consommation de biens non productifs) sont plus élevées ; Les maisons possèdent plus d'éléments de confort; Etc.

viii) Hypothèses relatives à la transformation du milieu psychoculturel

Les dernières hypothèses présentées ici supposent que, chez l'adulte nouvellement alphabétisé plus que chez l'adulte resté analphabète, Les projets pour l'avenir des enfants sont plus ambitieux; Les idées concernant la femme, sa position sociale, le mariage, les

problèmes de la dot, ont évolué dans un sens favorable ; Le désir de participer à l'évolution de la société est plus manifeste; Les tendances à accepter les solutions modernes du développement

sont plus fortes ;

133

Évaluation des changements escomptés

Le désir de s'instruire davantage est plus profond ; L a tendance à accepter des explications scientifiques aux phénomènes

de la nature est plus élevée.

134

Évaluation globale I X du projet

N o u s avons vu, dans les chapitres qui précèdent, comment on peut mener les travaux dans chacun des grands domaines de l'évaluation.

Si on en a les moyens, on peut concevoir un projet plus ambi­tieux d'évaluation globale du projet, en partant de modèles théoriques explicatifs réalisés à partir de chacun des grands domaines étudiés.

1 Évaluation quantitative du rendement A u lieu de se contenter de vérifier les hypothèses énoncées au cha­pitre IV, on peut essayer de construire un modèle théorique, explicatif, tel celui représenté par le diagramme 2 qui permettrait — s'il était vérifié — d'expliquer le processus d'une fréquentation optimale (moindres abandons et absentéisme). Il faudrait pour cela calculer les corrélations existant entre les divers facteurs proposés.

Le modèle est basé sur l'influence que peuvent avoir six facteurs indépendants (à gauche et au centre sur le diagramme) et un facteur semi-dépendant (la réussite aux tests intermédiaires) sur le facteur dépendant: la fréquentation. L'étude de ces corrélations permettrait peut-être de savoir quelles caractéristiques doit comporter un groupe de participants pour qu 'on parvienne à une fréquentation optimale des cours.

Ï35

Evaluation globale du projet

Diagramme 2 . Modèle théorique explicatif de la fréquentation optimale

2 Évaluation qualitative du rendement

O n peut aller au-delà de la simple vérification des hypothèses dont on a rassemblé un large échantillon dans le chapitre V , et essayer de consti­tuer divers modèles théoriques explicatifs de la réussite aux tests.

Dans le Rapport technique final du projet pilote iranien d'alpha­bétisation fonctionnelle des adultes, on trouvera de nombreux exemples de modèles théoriques. Le modèle présenté ici s'en inspire largement. Il lie trois ensembles de facteurs: les participants, les groupes de participants, les instructeurs.

O n suppose que l'homogénéité du groupe (sur le plan de l'âge du statut socio-économique, de l'activité professionnelle, de la quali-

136

Évaluation globale du projet

fication professionnelle, du niveau d'éducation antérieure, et peut-être du sexe) a une influence positive sur les résultats aux tests (voir diagramme 3). O n suppose également que l'identité ou la similarité de niveau entre l'instructeur et les participants (sur le plan de l'âge, de l'activité professionnelle, du statut socio-économique et peut-être du sexe) a également un effet positif sur la réussite aux tests. O n a noté sur le diagramme les influences positives ou négatives entre les divers facteurs, ces influences étant soit supposées, soit vérifiées entiè­rement ou partiellement par le projet iranien.

A u x facteurs encadrés : stabilité du groupe, fonctionnement du projet, spécificité/adéquation du programme, on peut raccorder les diagrammes qu 'on trouvera au chapitre IV (modèle théorique pour une fréquentation optimale des cours par les participants), au cha­pitre V I (modèle théorique pour le fonctionnement optimal du projet) et au chapitre VII (modèle théorique pour une spécificité et une adé­quation optimales du programme aux participants).

O n laissera à des spécialistes le soin d'organiser la méthode d'analyse des données. Il semble toutefois que la méthode taxono-mique de Wroclaw, dont l'essai pour la description des données du P E M A fut infructueux en raison de l'insuffisance et du manque de fiabilité des données recueillies, devrait donner de bons résultats. Il faut pour cela que le projet dispose des résultats d 'un grand nombre de programmes. Dans ce cas, il est possible de mettre en forme un modèle optimalisé susceptible de servir à la constitution de pro­grammes nouveaux. Pour atteindre ce but, il sera indispensable, d'abord, de réunir toutes les données disponibles sur tous les pro­grammes d'alphabétisation du projet (voir les indicateurs décrits dans les chap. V , VI , VII et VIII), de définir les critères de réussite aux tests et de construire un « indice de réussite ». O n s'efforcera ensuite de hiérarchiser les divers programmes selon leur réussite différentielle d'après les critères retenus, puis d'en établir une typo­logie. Ensuite, par une analyse plus fine, on pourra rechercher pour chaque type de programme quels ont été les éléments prépondérants pouvant expliquer la réussite et pondérer ces éléments. Enfin, à partir de cette double connaissance, à la fois descriptive (par la hiérarchie, la typologie et la pondération des diverses variables) et explicative (par l'étude des interactions et la vérification des hypothèses), on pourra proposer le modèle optimal de programme pour la population considérée, dans l'environnement géographique, économique, culturel et social où elle vit, compte tenu du contenu d'enseignement proposé.

137

Taille moyenne du groupe

Diagramme 3. Modèle théorique explicatif de la réussite aux tests.

Évaluation globale du projet

C e type d'analyse multivariée permettrait peut-être de savoir: Quelles caractéristiques doivent posséder les participants pour réussir. Quelles caractéristiques doivent posséder les instructeurs et quelle

formation ils doivent suivre pour obtenir les meilleurs résultats. Quelles caractéristiques doivent comporter les groupes de participants

pour arriver au plus grand nombre de succès. Quels sont les éléments constitutifs du système d'organisation des

projets qu'il faut privilégier pour arriver à la rentabilité maxi­male des ressources engagées.

Quels sont les contenus de programme, les méthodes d'apprentissage, les matériels d'enseignement, etc., les plus spécifiques de la population considérée, qui donnent les meilleurs résultats pour un effort moindre de la part de ces populations.

Rappelons cependant, encore une fois, deux avertissements d'impor­tance. L ' u n concerne la méthode d'évaluation en général et a trait au niveau de certitude des conclusions (voir chap. II, section 1), et l'autre concerne l'instrument sur lequel on se base pour connaître les résultats, c'est-à-dire le test, et le niveau de fiabilité qu 'on peut leur accorder (voir chap. V , section 3).

Ajoutons enfin que, dans le cadre d'une évaluation globale d 'un projet, nous arrivons à une étape clé d u système décrit par le diagramme 6, qui a été retenu pour l'évaluation globale du P E M A . Le modèle d'évaluation globale prévoit trois cadres d'analyse: le cadre de l'alphabétisation fonctionnelle (la variable indépendante), le cadre des conséquences socio-économiques et culturelles (la variable dépendante) et le cadre des conditions de la réussite pédagogique (la variable intermédiaire) étudiées dans le présent chapitre. A l'intérieur de chacun de ces cadres, on s'efforce de fournir un résumé descriptif du tableau des variables introduites, de proposer d'éprouver successi­vement diverses hypothèses afin de vérifier ou d'infirmer les liaisons supposées entre les divers inputs, enfin, de présenter une succession d'analyses multivariées qui permettent de passer d 'un cadre à un autre.

Le modèle explicatif théorique proposé au diagramme 3 permet de passer de la variable intermédiaire — la réussite pédagogique — à la variable dépendante (les conséquences socio-économiques et cultu­relles) qu 'on étudiera au chapitre VIII. Le passage de la variable indépendante (l'alphabétisation fonctionnelle) à la variable inter­médiaire sera étudié au chapitre VII. O n indique simplement sur le diagramme 3, par l'encadré « spécificité/adéquation du programme », la localisation de son insertion.

139

Évaluation globale du projet

Diagramme 4 . Modèle théorique explicatif relatif aux composantes logistiques du projet

140

Évaluation globale du projet

3 Évaluation des effets des composantes logistiques du projet

A partir de certains facteurs et hypothèses décrits précédemment, il pourrait être intéressant de tester le modèle hypothétique suivant: quand les aides matérielles (alimentaires, en heures de travail, etc.) existent, quand la concertation avec les participants est exemplaire sur le choix du local, de l'horaire, etc., quand les ressources financières engagées dans le programme sont suffisantes, les divers taux de parti­cipation aux programmes de fréquentation, de participation aux examens, de réussite aux tests sont élevés et ils augmentent en raison de l'accroissement des divers inputs cités. O n suppose également que plus les dépenses d'investissement et d'entretien sont importantes, en d'autres termes plus le coût unitaire m o y e n du participant inscrit est élevé, plus le coût unitaire moyen du participant diplômé est bas, à condition que, en second lieu, les éléments de logistique du projet soient favorables, ce qui entraîne un accroissement des divers taux de participation.

Le diagramme 4 décrit ce modèle théorique explicatif.

4 Évaluation des contenus de programmes

O n peut rassembler les diverses hypothèses décrites au long du cha­pitre VII en un modèle théorique explicatif, tel que celui qui figure ci-après. C e modèle (voir diagramme 5) repose sur la présomption que, lorsque les grands principes de l'alphabétisation fonctionnelle (principes stratégiques : adéquation aux objectifs, sélectivité, spécifi­cité, et principes pédagogiques: intégration, globalité, adaptation du matériel et des méthodes) sont appliqués avec soin, le rendement quanti­tatif du système s'élève, meilleure est son application (et son déroule­ment) et plus important est le rendement qualitatif mesuré par la réussite aux tests.

5 Évaluation globale du projet

N o u s venons d'indiquer brièvement, pour chacun des chapitres consa­crés à un domaine particulier de l'évaluation, comment on peut lier en un modèle théorique explicatif l'ensemble des hypothèses c o m ­munes à un m ê m e domaine.

141

Évaluation globale du projet

L'avantage de ces divers modèles est que le calcul des corréla­tions entre les différentes variables permet de proposer une explication globale à la question de savoir quels sont, pour chacun des points abordés: rendement quantitatif et qualitatif de l'action d'alphabéti-

Diagramme 5. Modèle théorique explicatif relatif aux principes de l'alphabétisation fonctionnelle

142

n

3

•O

Ö

O

o

CS

E

a s

Evaluation globale du projet

sation, rentabilité optimale de la logistique, recherche du programme le plus adéquat, les éléments les plus favorables à la réussite d 'un programme d'alphabétisation.

L'équipe chargée de l'évaluation globale du P E M A a mis au point un schéma conceptuel du processus d'alphabétisation fonction­nelle qui en montre les aspects et les interrelations les plus marquants. Le diagramme 6 reflète ce schéma. Dans l'introduction métho­dologique du document V I de l'évaluation globale du P E M A , déjà cité, on trouvera l'explication détaillée de ce schéma. N o u s en empruntons à l'auteur, Pierre Clément, une brève description : « Le cadre esquisse le processus qui va de la volonté politique de former fonctionnellement la population adulte et analphabète en vue d'une transformation économique et psychoculturelle du milieu potentiel­lement génératrice de développement économique et social à cette transformation m ê m e , au travers des dispositions socialement et mésologiquement façonnées des acteurs (prises de conscience, per­ceptions, motivations, intérêts, valeurs, aspirations, etc.), de l'action pédagogique, de l'élargissement des horizons, espaces, champs d'in­térêt et connaissances sociaux, culturels, économiques, techniques, et scientifiques, et de l'expression des acquis et des ouvertures dans des opérations concrètes qui constituent l'ultime médiation entre les conditions d 'un changement matériel et attitudinal favorable au développement et ce changement. »

O n sait (fin du chap. V ) que ce schéma s'organise en trois cadres : le cadre de la variable indépendante (l'alphabétisation fonc­tionnelle), le cadre de la variable intermédiaire (la réussite aux tests) et le cadre de la variable dépendante (les effets socio-économiques et culturels). O n a vu (fin du chap. VII) comment on pouvait passer du cadre de la variable indépendante au cadre de la variable intermé­diaire. Le schéma général montre comment on peut passer de la variable intermédiaire à la variable dépendante.

Les hypothèses qui précèdent proposaient de vérifier que les individus qui se sont alphabétisés fonctionnellement, et qui ont donc reçu une « formation axée sur des objectifs et des problèmes de déve­loppement », disposent désormais des « moyens intellectuels et tech­niques capables d'en faire des acteurs plus effectifs dans le processus de développement socio-économique » (hypothèse centrale de l'alpha­bétisation fonctionnelle), alors que les individus restés analphabètes, qui n'ont pas acquis ces moyens, restent passifs à l'égard de ce pro­cessus de développement.

144

Évaluation globale du projet

Il serait, pour finir, intéressant de démontrer que, si le résultat ci-dessus est favorable, il est très étroitement lié au processus d'alpha­bétisation. Pour cela, il faudrait montrer que plus la réussite aux tests est élevée, par individu, par groupe, par p r o g r a m m e , plus le succès socio-économique est évident, et qu'il existe bien entre les deux phénomènes u n lien mesurable, par un coefficient de corrélation par exemple.

C'est là u n problème difficile pour les petits projets préparant trop peu de programmes et dont les moyens — en personnel technique et d'évaluation et en matériel de dépouillement et de traitement des données — sont trop faibles. Par contre, les projets qui organisent de nombreux programmes et disposent des m o y e n s nécessaires peuvent opérer ce type de recherche. Alors, peut-être, le lien entre la variable intermédiaire (la réussite aux tests) et la variable dépendante (les effets socio-économiques) pourrait être démontré, et l'hypothèse centrale de l'alphabétisation fonctionnelle serait alors, pour le projet en question, également vérifiée1.

1. Dans l'essai d'évaluation globale du P E M A (Doc. VI), qui a porté sur 167 indicateurs relevés après épuration méthodologique, issus de quelque 30 programmes d'alphabétisation fonctionnelle dans six pays, on a trouvé qu'une forte note (78%) pouvait « être attribuée à une hypo­thèse globale qui serait formulée sur l'ensemble de l'efficacité externe de l'alphabétisation fonctionnelle et qui est implicite dans l'hypothèse centrale du P E M A ». O n trouvera dans ce document et dans le docu­ment IV toutes les indications nécessaires pour mener une telle étude, ainsi qu'une description des précautions méthodologiques dont il convient de s'entourer.

145

Annexe

Do

cu

me

nt 1

. Reg

istre

des p

artic

ipan

ts

|ElU

OlU

U3

EL

U

înie

ls

32

y

ZZ

Z

p-

Q>

y

x

TJ |

O

£ o

Z

« -o

'o

X

E «

If*

T3

T3

"O

V

Ci

V

E E

£

o o

o

Z

ZZ

Annexe

Document 2. Rapport mensuel

Province et district: A n n é e : Instructeur: Mois: Superviseur:

Localité: Groupe n° :

A . Statistiques

o) N o m b r e de sessions prévues, tenues:

b) N o m b r e d'inscrits dans la cohorte: N o m b r e d'inscrits additionnels: N o m b r e d'inscrits à la fin de ce mois:

c) N o m b r e d'absences par sexe et âge:

Hommes Femmes Total

15/24 25/45 + 45 15/24 25/45 + 45

d) Nombre d'absences par cause (voir code)

T S V F D C N Total

B . Visites d u superviseur

C e mois (date): N o m b r e total de visites depuis l'ouverture des cours:

C . Matériel didactique reçu

Individuel (type et n o m b r e ) : Collectif (id.): Pour l'instructeur (id.): Audio-visuel (id.):

D . A ides reçues

Alimentaires (quantité ou n o m b r e ) : Heures supplémentaires: Heures de travail: Engrais, pesticides, semences, plants, etc.: Autres:

150

Annexe

E. Budget

•) Salaires:

b) Factures payées (entretien: chauffage, électricité, produits d'entretien,etc.):

F. Compte rendu pédagogique

Pour chacune des composantes du programme, donner:

Le nombre de sessions prévues et tenues:

Le nombre de séquences enseignées et leur numéro:

Les numéros des séquences non enseignées:

Lecture:

Enseignement professionnel:

Enseignement socio-économique:

Enseignement général:

Autres:

Observations

G . Résultats des tests hebdomadaires

Première semaine

Composantes Nombre de Seuil Nombre de Moyenne

participants critique participants des

ayant passé ou % notes

le test ayant passé

le seuil

Lecture

Écriture

Calcul élémentaire

Calcul professionnel

etc.

Deuxième sema/ne

Etc.

Code pour les causes d'absences: T = travail; S = santé; V = voyages, émigration, exode saisonnier; F — festivités traditionnelles; D = causes domestiques, enfants, etc.; C = climat, intempéries; N = non identifiées; etc.

151

Annexe

Document 3. Bilan de fin de cycle

Province et district:

Localité:

A n n é e : Cycle: Durée du cycle:

Instructeur: Superviseur: Groupe n°:

A . Statistiques

Date du premier cours: Cohorte:

Inscrits additionnels: Hommes (%):

Hommes (%): Déperdition:

Hommes (%):

Femmes (%): Femmes (%):

Femmes (%):

du dernier cours:

Total (%): Total (%):

Total (%):

B . Niveau d'alphabétisation

0 - 1 - 2 3 - 4

Analphabètes Semi-

analphabètes

Au début de la cohorte Au début de ce cycle A la fin de ce cycle Acquisition du cours (indiquer + ou —) Pourcentage en fin de cycle par rapport à la

cohorte

C . Résultats de l ' examen de fin de cycle

Tests Nombre Seuil Moyenne Nombre d'items critique des notes des participants

5-6

Alphabetes

Nombre et % des participants

ayant passé

le seuil

152

Annexe

Document 4. Test de savoir-faire (Programme « coton »)

1. Combien de jours après l'ouverture des premières capsules faut-il récolter le coton ?

2. O ù doit-on trier les capsules ? 3. O ù dépose-t-on le coton qu'on a récolté ? 4. Pourquoi est-il recommandé de brûler tiges et feuilles de cotonnier

après la récolte ? 5. Le terrain favorable à la culture du gros mil convient-il à la culture

du coton ? 6. Est-il nécessaire, favorable ou sans importance d'inclure la culture

du coton dans une rotation ? 7. Quand doit-on procéder au grattage précoce ? 8. Faut-il semer le mil et le coton à la m ê m e époque ? 9. Combien de kilogrammes de semences de coton faut-il prévoir pour un

hectare ? 10. Quelle distance doit-on laisser entre les lignes ? 11. Quelle distance doit-on laisser entre les poquets ? 12. Combien de grains met-on par poquet ? 13. Combien de plants laisse-t-on au m o m e n t du démariage ? 14. A quelle époque doit-on faire le labour profond ? 15. A quelle époque de l'année procède-t-on au semis précoce ? 16. A quelle époque, le semis tardif ? 17. A quelle époque procède-t-on au démariage ? 18. Combien de temps après le semis fait-on le premier sarclage ? 19. Combien de temps après le premier sarclage fait-on le second ? 20. Combien de jours après le semis doit-on épandre les engrais ? 21. Quelle quantité d'engrais faut-il épandre par hectare ? 22. A quel m o m e n t procède-t-on au buttage ? 23. Faut-il, après la récolte, couper les plantes ou les arracher ? 24. U n semis précoce se fait-il à plat ou sur billon ? 25. Quelle opération peut-on faire en m ê m e temps que le premier sarclage ? 26. Quelle opération peut-on faire en m ê m e temps que le second sarclage ? 27. Combien de traitements contre les insectes faut-il faire au min imum ? 28. Combien de temps après le semis doit-on faire le premier traitement ? 29. Les autres traitements devront suivre avec quel intervalle de temps ? 30. Pour préparer le premier traitement, combien de boîtes d'insecticides

faut-il pour un fût à demi rempli ?

153

Annexe

Document 5. Échelle d'alphabétisation

Code: Village: N o m et prénom: A g e :

N°: A fréquenté une école:

pendant: ans A suivi le cours d'alphabétisation

pendant: ans

Degré 1

1. 2. 3. 4.

Tient son crayon Copie des figures simples Lit l'heure Écrit les chiffres de 1 à 9

13.

14.

15. 16.

Degré 4

Connaît triangle, rectangle et diamètre Écrit des mots phonétique­ment Lit des mots simples Écrit tous les nombres de dizaines de mille

Degré 2

Fait addition et soustraction 17. à1 chiffre 18. Écrit son n o m 19. Sait lire les lettres Écrit les nombres des dizaines 20.

Degré S

Fait les quatre opérations Écrit les phrases simples Lit les phrases simples mot à mot Écrit tous les nombres

Degré 3

9. Fait additions, soustractions; multiplications à 2 chiffres

10. Écrit les lettres 11. Lit des mots fréquents 12. Écrit les nombres de centaines

Total = = Degré

Degré 6

21. Connaît lignes et figures géo­métriques

22. Rédige un texte 23. Lit couramment 24. Écrit les unités de système

métrique

Aimerait-il apprendre ? Pourquoi ? Quand ?

le 19

N o m et signature de l'enquêteur

154

Annexe

Document 6. Fiche signalétique du cours

Province, District: Instructeur:

Superviseur: Localité: Groupe n°:

A . Local

Local :

État du local: Durée prévue du cycle: mois. Date du début du cycle: Date de fin du cycle: Nombre de sessions hebdomadaires: Durée moyenne d'une session: Horaire prévu de chaque session:

B. N o m de l'organisme de développement auquel est lié le

programme

Firme ou entreprise où travaillent la plupart des participants:

N o m du programme: Cycle:

Observations sur l'homogénéité professionnelle des participants:

C . Statistiques

Nombre de participants inscrits: Total: H o m m e s : F e m m e s :

de 15 de 25 de 35 45 ans

— de 15 ans à 24 ans à 34 ans à 44 ans et +

Hommes

Femmes Mariés

Possédant la caracté­ristique profession­nelle

D . Avant l'ouverture du cours

L'instructeur avait-il bénéficié d'une formation professionnelle ? d'un stage

de perfectionnement ? (date, durée, niveau) Le matériel didactique des élèves était-il en place ?

E. Existe-t-il un comité d'alphabétisation ? (composition?)

Des spécialistes apportent-ils leur aide au cours ? (qui ? périodicité ?) Assistance de l'organisme de développement (forme, nature, quantité)

155

Annexe

F. Matériel du cours (nature et n o m b r e )

Mobilier:

Matériel didactique:

pour l'instructeur: pour le participant, individuel: pour le participant, collectif: audio-visuel:

G . Nourriture et entretien des participants

Donner également des informations sur l'éclairage, le chauffage, le nettoyage des locaux, le transport, etc.

H . Dépenses du centre

J. Aides reçues

Matériels, engrais, pesticides, etc.

Heures supplémentaires, cours pris sur l'horaire de travail, etc.

K . Difficultés rencontrées

156

Annexe

Document 7. Dimensions, critères et indicateurs pour l'évaluation des changements sociaux, économiques et psychoculturels

Liste des tableaux pouvant être dressés à partir des données fournies par la mesure des indicateurs retenus.

D i m e n s i o n 1 : Vouloir changer

Critère 1 : Importance et variété des motivations

1.1.1. N o m b r e de souhaits exprimés en faveur de l'apprentissage des tech­niques de base de l'alphabétisation — lecture, écriture, etc., par sexe, tranche d'âge, niveau socio-économique, etc. O n peut reprendre les caractéristiques principales des participants.

1.1.2. N o m b r e de demandes d'acquisition de connaissances relevant du métier exercé, de la firme, par caractéristique retenue.

1.1.3. N o m b r e de demandes d'acquisition de connaissances intellectuelles nécessaires à l'exercice de la vie professionnelle.

1.1.4. N o m b r e de connaissances demandées dans le domaine particulier de la technicité du poste de travail.

1.1.5. N o m b r e de demandes d'acquisition de connaissances relatives à l'entre­tien et à l'amélioration de la force de travail.

1.1.6. N o m b r e de demandes d'acquisition de connaissances relatives aux relations avec le m o n d e extérieur: géographique, physique, économique, social, politique, etc.

Critère 2: Buts, volitions

1.2.1. Liste des avantages qu'on pense tirer de l'alphabétisation.

1.2.2. Liste des raisons relatives à l'environnement dont les participants pensent qu'elles peuvent contrecarrer leur volonté de s'alphabétiser.

1.2.3. Liste des désirs de changement manifestés (poste de travail, métier, firme, localité, pays) et causes éventuellement.

Dimension 2: Apprendre

Voir Évaluation du rendement quantitatif et qualitatif (chap. IV et V ) .

D i m e n s i o n 3: Savoir prévoir, organiser, résoudre

Critère 1 : Scolarisation des enfants

3.1.1. N o m b r e d'enfants scolarisés par rapport au nombre d'enfants d'âge scolaire des familles.

3.1.2. N o m b r e d'enfants d'âge scolaire ayant abandonné leurs études.

3.1.3. Taux de scolarisation, taux d'abandon, des localités où sont entrepris les cours d'alphabétisation.

Critère 2: Structure du budget familial

3.2.1. N o m b r e de ménages tenant des comptes familiaux.

157

Annexe

3.2.2. Dépenses de consommation courante par secteur (alimentation, hygiène et médecine, loisirs, charges, etc.).

3.2.3. Montant de l'épargne par type de dépôt (banque ou autre, ou non déposé).

3.2.4. Montant des prêts consentis par type (moderne ou traditionnel).

3.2.5. Montant des emprunts par type (moderne ou traditionnel: usure) et par destination.

3.2.6. Volume (ou quantité) des réserves et stocks par nature (consommation familiale, semences, remboursements, engrais, pesticides, médica­ments, etc.).

3.2.7. Évaluation du patrimoine et volume des investissements productifs: terre, maison, meubles, véhicules, outils et instruments, bétail, etc.

3.2.8. Volume — ou liste — des biens d'équipement non productifs mais utilitaires: vêtements, équipement de ménage, etc.

3.2.9. Liste des investissements non productifs et non utilitaires (biens de prestige: bétail, or, etc.).

Critère 3: Gestion prévisionnelle, familiale

3.3.1. N o m b r e d'enfants par famille et par tranche d'âge de la mère. 3.3.2. N o m b r e d'enfants nés par périodes de trois ans après le mariage. 3.3.3. N o m b r e de ménages pratiquant des méthodes contraceptives.

3.3.4. Distribution des ménages selon leur opinion sur la taille idéale de la famille (1 enfant, 2 enfants, 3 enfants, etc.).

Dimens ion 4 : Vouloir s'informer et c o m m u n i q u e r

Critère 1 : Utilisation des mass media

4.1.1. N o m b r e de journaux et revues — quotidiens, hebdomadaires, mensuels — achetés et/ou lus, par unité statistique (individu, famille, c o m m u ­nauté), et par unité de temps.

4.1.2. N o m b r e de radios, télévisions, possédées et écoutées.

4.1.3. N o m b r e d'écoutes, par unité de temps et par type d'émission (informa­tions, émissions professionnelles, musique, etc.).

4.1.4. N o m b r e de magnétophones, et nombre de cassettes possédées et écoutées par unité de temps et type de contenu.

Critère 2: Recours à d'autres sources informatives et aux sources d'aides les plus appropriées

Par unité de temps et par unité statistique

4.2.1. N o m b r e de conseils demandés aux organisations professionnelles (syndicats, etc.), ou civiques, ou administratives (mairie, conseils de village, etc.).

4.2.2. N o m b r e de conseils demandés à des organismes d'aide sociale (sécurité sociale, mutuelle, assurances, etc.).

4.2.3. N o m b r e de conseils demandés aux conseillers en planification familiale.

4.2.4. N o m b r e de conseils demandés aux maisons de la culture, aux organismes religieux ou spirituels.

4.2.5. N o m b r e de conseils demandés aux organismes de prêts (banque, crédit mutuel, etc.).

158

Annexe

4.2.6. N o m b r e de voyages entrepris par durée, distance et nature: raisons familiales, exode saisonnier, recherche de travail, raisons religieuses, etc.

Critère 3: Utilisation sociale et informative de la lecture et de l'écriture

Par unité statistique et par unité de temps

4.3.1. N o m b r e de correspondances reçues ou envoyées, par type de corres­pondance: familiale, administrative, informative, diverse.

4.3.2. N o m b r e de formulaires remplis: administration, profession, services postaux, coopérative, etc.

4.3.3. N o m b r e d'agendas, carnets, almanachs, annuaires, etc., utilisés.

D i m e n s i o n 5: Participer

Pour chacune des organisations suivantes, dresser un tableau portant le nombre d'inscriptions et le rôle joué par chaque participant ou non-participant des échantillons retenus (participation à la gestion ou à la direction, nombre de participation aux séances, importance de la participation, prises de parole, etc.).

Critère 1 : Participation aux organisations économiques

5.1.1. Syndicats. 5.1.2. Coopératives. 5.1.3. Commissions paritaires.

Critère 2: Participation aux organisations sociales

5.2.1. Traditionnelles. 5.2.2. Culturelles et religieuses. 5.2.3. Mutualistes. 5.2.4. Sportives.

Critère 3: Participation aux organisations politiques et civiques

5.3.1. Administration de la communau té . 5.3.2. Parti politique. 5.3.3. Groupes de notables, juges, sages locaux. 5.3.4. Délégation au niveau régional ou national.

D i m e n s i o n 6: Savoir faire et faire (au plan de la production)

Critère 1 : Compétences professionnelles

6.1.1. Qualifications par niveau dans le métier principal, et dans le métier secondaire éventuellement: technicien, ouvrier qualifié, semi-qualifié, non qualifié, m a n œ u v r e , artisan, etc.

6.1.2. Définition du poste de travail principal par principales caractéristiques psychiques ou intellectuelles (par exemple, raisonnement, rapidité de compréhension, mémoire, imagination, esprit d'initiative, esprit d'obser­vation, attention, coup d'oeil rapide, habileté manuelle, ténacité, sens artistique, etc.).

6.1.3. Notes professionnelles.

6.1.4. Mesure de la quantité de produit fourni au poste de travail par unité de temps (emploi principal).

159

Annexe

6.1.5. Mesure de la qualité du produit fourni au poste principal de travail.

6.1.6. Durée de l'emploi dans le poste de travail, dans la firme, dans la pro­fession, dans la localité.

6.1.7. Mesure du gaspillage — selon le poste de travail.

Critère 2: Habitudes de travail

6.2.1. Mesure de l'absentéisme (par unité de temps : mois, trimestre, année, et par cause).

6.2.2. Mesure de la ponctualité: nombre de retards par unité de temps.

6.2.3. Respect des normes de sécurité du travail: port du casque, des lunettes, des gants, etc., interdiction de fumer, manettes de sécurité, etc., par type d'infraction et par unité de temps.

6.2.4. N o m b r e d'accidents et gravité, par unité de temps: type d'accidents et nombre de jours d'arrêt de travail.

6.2.5. Entretien de la machine et des outils: respect des normes, nombre de graissages, etc., et nombre d'arrêts de la machine par unité de temps. Durée des arrêts.

6.2.6. Entretien de l'environnement du travail: propreté, nettoyages, respect des normes, etc., par unité de temps.

Critère 3: Perfectionnement professionnel

6.3.1. N o m b r e de stages suivis: fréquence, durée, niveau, par âge, ancienneté, niveau de qualification.

6.3.2. Durée de l'apprentissage hors poste, par sexe, âge, niveau de qualifi­cation.

6.3.3. Nature et durée de l'apprentissage sur le tas.

D i m e n s i o n 7 : Savoir faire et faire (sur le plan de l'entretien et d e la reproduction de la force de travail)

Critère 1 : Pratiques sanitaires

7.1.1. N o m b r e de consultations médicales et prénatales par unité de temps.

7.1.2. N o m b r e d'accouchements par les soins d 'un médecin ou d'une sage-f e m m e diplômée.

7.1.3. N o m b r e de décès d'enfants de 0 à 1 an, de 1 à 3 ans, de plus de 3 ans, par unité de temps.

7.1.4. N o m b r e de pratiques de prévention, par pratique, et par unité de temps (mois par mois).

7.1.5. N o m b r e de pharmacies familiales.

Critère 2: Pratiques hygiéniques

7.2.1. N o m b r e de pratiques hygiéniques par unité de temps: bains, douches, brossage des dents, etc.

Critère 3: Pratiques alimentaires

7.3.1. Structure de l'alimentation par fréquence de consommation et par produit.

160

Annexe

7.3.2. Pratiques d'hygiène alimentaire, par pratique: ebullition de l'eau, du lait, filtrage de l'eau, protection des aliments contre les insectes, la poussière, etc.

Dimens ion 8 : Vivre m i e u x (dimension é c o n o m i q u e )

Critère 1 : Facteurs et volume de la production

Voir 6.1.4 et 6.1.5 pour la production artisanale ou en usine. Pour la produc­tion agricole (métier principal ou secondaire):

8.1.1. Surfaces cultivées (ou nombre de pieds de café, cacao, arbres frui­tiers, etc.) par production.

8.1.2. Surfaces non cultivées par destination (jachères, pâturage, forêts, taillis, marais, etc.).

8.1.3. Quantités (en poids ou en volume) de productions principales, produites, commercialisées, consommées, conservées (semences) par produit.

8.1.4. Bétail: nombre sur pied, commercialisé, c o n s o m m é , par nature. 8.1.5. Petit élevage: id., par nature.

8.1.6. Productions annexes (chasse, pêche, collecte, jardin potager, ruches, etc.).

Critère 2 : Budget familial

8.2.1. Montant du salaire principal de chacun des membres de la famille.

8.2.2. Montant des salaires d'appoint (métiers secondaires). 8.2.3. Montant des primes, sursalaires, etc. 8.2.4. Valeur de la production commercialisée, par produit.

Critère 3: Consommation de biens durables

8.3.1. Dépenses consacrées à l'amélioration fonctionnelle de l'habitat et des conditions de stockage, par nature, coût et/ou nombre d'heures consa­crées par l'individu. Exemples: construction de toits, de fenêtres, de cuisine, installation d'eau courante, douches, éclairage, ventilation, etc.

8.3.2. Moyens de production (charrues, charrettes, semoirs, etc.), par nature. 8.3.3. Liste des biens d'équipement (voir 3.2.7 à 3.2.9).

8.3.4. N o m b r e de ménages possédant des biens durables contribuant à élever le genre de vie. Par exemple, bicyclettes, réveils et montres, radio et télévision.

8.3.5. N o m b r e de maisons possédant certains éléments de confort: eau courante, éclairage, électricité ou gaz, bains ou douches, toilettes, etc.

Dimens ion 9: Vivre m i e u x (dimension psychoculturelle)

9.1.1. Opinions relatives à la f e m m e : nombre de personnes favorables à la monogamie, à l'alphabétisation et à l'éducation de la f e m m e , à sa parti­cipation à un travail rémunéré, à sa participation à l'administration de la cité, etc.

9.1.2. Niveau d'aspiration relatif à l'avenir des enfants. Etc.

161

Annexe

D o c u m e n t 8. Liste d'hypothèses élaborées pour l'évaluation globale du P E M A

Hypothèses pour l'évaluation interne

Hypothèses relatives aux caractéristiques des participants

1. Les résultats obtenus par l'alphabétisation fonctionnelle varient avec le degré d'homogénéité des groupes de partici­pants selon l'âge, le sexe, l'activité et le statut professionnel.

2 . L'âge, l'état matrimonial, la situation de famille, le niveau d'alphabétisme antérieur à l'alphabétisation fonctionnelle, le statut économique, social des participants affectent: l'inscrip­tion; la fréquentation; la déperdition; la participation aux examens; la réussite aux examens; la rétention des connais­sances; l'adoption des pratiques recommandées dans les pro­g r a m m e s ; les changements d'attitude et de conduite.

3. L'efficacité de l'alphabétisation fonctionnelle dépend du taux participants/instructeur appliqué dans les programmes.

Hypothèses relatives aux caractéristiques des instructeurs et à leur formation

4. Les performances des participants sont affectées par certaines caractéristiques des instructeurs: l'âge, le niveau de formation antérieure, l'expérience professionnelle, l'ancienneté de l'exer­cice des méthodes d'alphabétisation (en particulier, les instruc­teurs exerçant la m ê m e activité et ayant le m ê m e statut socio-économique que les participants obtiennent de meilleurs résultats que les enseignants professionnels et que les instruc­teurs exerçant d'autres activités ou ayant un autre statut socio-économique).

5. U n e formation initiale brève et intensive suivie de sessions de recyclage périodiques constitue une technique de forma­tion des instructeurs plus efficace qu'une longue formation initiale sans recyclage.

6. Plus la formation des instructeurs est pratique et organisée autour du maniement du matériel didactique, de ses principes et règles d'utilisation, plus cette formation est efficace.

7. L'efficacité de l'alphabétisation fonctionnelle dépend de la possibilité d'introduire dans les composantes de la situation pédagogique des améliorations tenant compte de l'expérience acquise, de conditions nouvelles et des rétro-informations four­nies par la pratique.

162

Annexe

Hypothèses relatives aux méthodes et moyens de l'alphabétisation fonctionnelle

8. U n e pédagogie d'alphabétisation fonctionnelle entraîne des changements positifs, à condition qu'elle soit liée à un processus d'innovation véritable (d'ordre politique, social ou technique) qui concerne les participants.

9. L'efficacité d'un programme d'alphabétisation fonctionnelle est liée au degré de spécificité des objectifs de développement et des objectifs de formation qui leur sont solidaires.

10. Mieux les contenus d'enseignement sont centrés sur les pro­blèmes que les travailleurs rencontrent effectivement dans leur activité de production, plus l'alphabétisation fonctionnelle est efficace.

11. Plus les contenus et matériaux d'enseignement tiennent compte de l'environnement culturel des travailleurs et sont présentés dans une langue proche de leur langue usuelle, plus l'alphabétisation fonctionnelle est efficace.

12. L'intégration des contenus d'enseignement accroît l'efficacité de l'alphabétisation fonctionnelle.

13. D u point de vue de l'efficacité, il existe une relation optimale entre le degré d'intensité du processus d'enseignement-apprentissage, mesurée par la périodicité des cours, et sa durée.

14. L'efficacité du matériel didactique est subordonnée à son degré d'intégration et de programmation.

Hypothèses pour l'évaluation externe

Hypothèses relatives à l'insertion dans le milieu

15. L'alphabétisation fonctionnelle favorise l'insertion des individus dans le milieu social et culturel qui les environne en les a m e ­nant à élargir l'horizon temporel de leurs actions, en suscitant l'adoption de comportements plus rationnels conduisant à des démarches plus autonomes dans la recherche d'une solution à leurs problèmes et dans la poursuite de leur apprentissage et de celui des générations montantes, et en renforçant leur inté­gration sociale.

16. L'alphabétisation fonctionnelle favorise le développement de comportements impliquant une meilleure prévision de l'avenir (dimension prospective).

17. Le taux de scolarisation des enfants des adultes exposés à

163

Annexe

l'alphabétisation fonctionnelle est nettement plus élevé que celui observé dans les familles d'analphabètes.

18. Les adultes précédemment exposés à l'alphabétisation fonc­tionnelle adoptent plus fréquemment des comportements de prévoyance (tenue de comptes d'épargne et bancaire, planifi­cation de la famille, etc.) que les analphabètes.

19. L'alphabétisation fonctionnelle favorise le développement de comportements menant à l'acquisition autonome de con­naissances objectivement utiles (autoformation — dimension cognito-acquisitive).

20. Les adultes précédemment exposés à l'alphabétisation fonc­tionnelle manifestent plus que les analphabètes une préférence pour les émissions radiophoniques agricoles et/ou éducatives.

21. Les adultes précédemment exposés à l'alphabétisation fonc­tionnelle recherchent plus que les analphabètes des avis, conseils et l'assistance technique d'organismes ou individus compétents.

22. L'alphabétisation fonctionnelle favorise le développement de la solidarité communautaire et de comportements associatifs (dimension intégrationnelle).

23. Les adultes fonctionnellement alphabétisés manifestent plus que les analphabètes une propension à situer les problèmes de la vie quotidienne et à concevoir leur solution dans le cadre de la communauté.

24. Les adultes fonctionnellement alphabétisés participent plus fortement aux organisations collectives (associations profes­sionnelles, culturelles, confessionnelles, de loisir, etc.) que les analphabètes.

Hypothèses relatives à la maîtrise du milieu

25. L'alphabétisation fonctionnelle favorise la maîtrise de leur milieu matériel et humain par les participants, par le dévelop­pement de leurs connaissances instrumentales et à travers la diffusion de pratiques plus rationnelles dans les domaines de la production et de la protection de la santé.

26. La qualité du comportement au travail et le niveau des connais­sances techniques liées à la production et de leur mise en pra­tique sont plus élevés chez les adultes exposés à l'alphabétisation fonctionnelle que chez les adultes analphabètes (dimension production).

164

Annexe

27. L'absentéisme des ouvriers fonctionnellement alphabétisés est inférieur à celui des ouvriers analphabètes.

28. Les jugements relatifs à l'exécution du travail portés par les cadres professionnels (ingénieurs, techniciens, contremaîtres) sur les ouvriers précédemment exposés à l'alphabétisation fonctionnelle sont nettement plus favorables que ceux portés sur les ouvriers analphabètes.

29. Les niveaux de connaissance et de compréhension des pra­tiques technico-productives (relatives aux normes techniques et aux moyens et inputs de production) sont plus élevés chez les adultes fonctionnellement alphabétisés que chez les analphabètes.

30. L'adoption de pratiques technico-productives (associant les normes techniques et les inputs modernes) et/ou de compor­tements technico-économiques modernes est plus élevée chez les adultes exposés à l'alphabétisation fonctionnelle que chez les analphabètes exposés à des facteurs extérieurs au projet.

31. L'adoption de normes technico-productives plus rationnelles (calendrier agricole, façons culturales, procédés artisanaux, etc.) est plus élevée chez les adultes exposés à l'alphabétisa­tion fonctionnelle que chez les analphabètes.

32. L'adoption d'inputs modernes (pesticides, engrais, semences à haut rendement, etc.) est plus élevée chez les producteurs exposés à l'alphabétisation fonctionnelle que chez les produc­teurs analphabètes.

33. Les niveaux de connaissance et d'adoption des pratiques techniques modernes liées à la conservation et à la repro­duction de la force de travail et de la vie humaines (pratiques sanitaires, hygiéniques et alimentaires) sont plus élevés chez les participants des programmes d'alphabétisation fonction­nelle que chez les analphabètes.

Hypothèses relatives à la transformation du milieu

34. L'alphabétisation fonctionnelle favorise la transformation du milieu économique et psychoculturel des participants à travers l'instrumentalisation des potentialités (intellectuelles, sociales et économiques) qu'ils ont acquises, en provoquant l'amélio­ration de leur niveau de vie et la génération d'attitudes favo­rables à l'innovation et au développement.

35. Les niveaux de production, de revenu et de consommation des participants des programmes d'alphabétisation fonction-

165

Annexe

nelle sont plus élevés que ceux des analphabètes (dimension économique).

36. L'accroissement des moyens de production et de la production (en matière et/ou en valeur) est plus fort chez les participants des programmes fonctionnels que chez les non-participants vivant dans des conditions comparables.

37. Les revenus monétaires (réels ou potentiels) et/ou le patri­moine financier des participants des programmes fonctionnels sont plus élevés que ceux des non-participants.

38. La consommation de biens durables est plus élevée chez les adultes fonctionnellement alphabétisés que chez les anal­phabètes.

39. Les adultes précédemment exposés à l'alphabétisation fonc­tionnelle se tournent davantage vers le progrès économique et social, sont plus conscients des moyens à mettre en œuvre et du rôle qu'ils peuvent jouer pour y accéder, plus ouverts à l'approche rationnelle des problèmes et plus soucieux de la qualité et de la qualification du travail que les analphabètes (dimension psychoculturelle).

40. L'orientation vers la distanciation des valeurs et de l'ordre contraires au développement et vers le changement et l'inno­vation est plus marquée chez les adultes fonctionnellement alphabétisés que chez les analphabètes.

41. Les participants des programmes fonctionnels sont plus favo­rables que les analphabètes à la planification et au calcul économiques.

42. L'alphabétisation fonctionnelle rend les individus plus cons­cients de leur responsabilité dans l'amélioration du bien-être communautaire et les dispose mieux à les assumer.

43. L'alphabétisation fonctionnelle développe la prise de cons­cience des avantages matériels et moraux que peuvent tirer les participants et la collectivité de l'éducation des adultes.

44. La croyance aux exploits technologiques modernes et la com­préhension de l'origine des phénomènes naturels sont plus fortes chez les adultes fonctionnellement alphabétisés que chez les analphabètes.

45. Les adultes exposés à l'alphabétisation fonctionnelle ont une conception du travail moins économiste et valorisent davantage la qualité de son exécution que les analphabètes.

46. Le désir de promotion et de mobilité professionnelle dans et

166

Annexe

hors de leur entreprise est plus fort chez les adultes fonction-nellement alphabétisés que chez les analphabètes.

Les hypothèses ci-dessus proviennent des documents de l'évaluation globale du P E M A , du document VII pour les hypothèses relatives à l'évaluation interne, du document V I pour celles relatives à l'évalua­tion externe. Il est évident que d'autres hypothèses pourraient être formulées pour ces deux domaines et pour d'autres encore, particu­lièrement en ce qui concerne toute l'activité en amont de l'action d'alphabétisation et notamment la définition du cadre institutionnel des projets: intégration dans la vie politique, degré d'autonomie du projet, intégration dans les institutions du pays, l'organisation inté­rieure du projet, l'importance des ressources humaines et matérielles dont il dispose, etc.

167

Ouvrages à consulter

Évaluation globale duPEMA, Documents techniques, Unesco, 19751:

Document technique I: Le concept d'alphabétisation fonctionnelle: genèse, objectifs et hypothèses du P E M A .

Document II: Le cadre institutionnel des projets expérimentaux. Document III: L a méthodologie de l'alphabétisation fonctionnelle. Document IV: Evaluation méthodologique du cadre expérimental. Document V : Alphabétisation fonctionnelle et apprentissage: l'évalua­

tion du processus d'enseignement-apprentissage. Document VI : Alphabétisation fonctionnelle et développement : les effets

économiques et sociaux du processus d'enseignement-apprentissage.

Document VII: Mise en relation des modalités de l'action pédagogique et des effets socio-économiques de l'alphabétisation fonc­tionnelle.

Document VIII: (pas encore mis au point). Document IX : Coûts et rendements de l'alphabétisation fonctionnelle.

Guide pratique d'alphabétisation fonctionnelle, Unesco, 1972.

La formation du personnel de Valphabétisation fonctionnelle, guide pratique, Unesco, 1973.

Projet pilote d'alphabétisation fonctionnelle des adultes en Iran, Projet d'Isfahan-Dezful, Rapport technique final, 9 vol., 1975.

Manuel pour l'évaluation des projets d'alphabétisation fonctionnelle, Unesco, 1970.

1. Les documents n'ont pas encore été publiés, mais peuvent être consul­tés au Siège de l'Unesco, à Paris, au Centre de documentation de la division E D / L R D .

169

Index

A

abandons 79, 81 absentéisme 78, 80, 81, 164 adéquation des programmes 107, 115 aides matérielles 103 alphabétisation fonctionnelle 25, 26, 27 analytiques (études—) 59 autonomie du projet 65, 91

B

budget — voir financement

C

caractéristiques des participants 48, 77,92 changements socio-économiques 31, 49, 121, 157 comparatives (études —) 59, 79, 88, 126 composantes du programme 114, 117, 118, 119 contenu de programme 30, 68, 105 contrôle statistique 33, 34

D

définition des objectifs 31, 62 descriptives (études —) 58, 78, 88, 100, 112, 126 déroulement du programme 108,116 documents (recherche de —) 38, 39 domaines de l'évaluation 27, 61, 77, 83, 97, 105, 122-123

E

échantillons 33, 34, 44, 57, 58, 74, 129, 133 échelle d'alphabétisation 85 enquête étude de base 30, 46, 47, 48, 67, 72 entretiens 39, 40 environnement 92 évaluation globale chap. IX évaluation interne, externe 35, 122 examens 78 explicatives (études —) 59, 80, 90, 102, 115

F

faisabilité (enquête, étude de —) 28, 29, 61, 64-67, 72, 81, 90 et suiv., 128

171

Index

finales (enquêtes, mesures —) 43, 46, 49, 76 financement 91, 99, 104 fréquentation 78, 80, 81

G

groupes (caractéristiques des —) 98 constitution des groupes 29, 103 groupes expérimentaux, témoins 29, 44,55

H

homogénéité (test d' —) 57, 126-127 hypothèses 44, 59 hypothèse centrale de l'alphabéti­sation fonctionnelle 25, chap. IX hypothèses sur les changements socio-économiques 128 à 134 hypothèses sur les contenus de pro­gramme 115 hypothèses sur l'évaluation interne et externe. Annexe 8 hypothèses sur la logistique — voir logistique hypothèses sur le rendement quanti­tatif 80, qualitatif 90

I

indicateurs de mesure 45, 157 — sur la participation aux programmes 49, — mesurant le niveau de con­naissances 50, — relatifs à la crois­sance et au développement écono­mique 52, — de mesure des change­ments 157, — statistiques de base 49, — relatifs au développement social 54 indices 124 initiales (enquêtes, mesures, relevé des données -—) 55, 74, 126 insertion dans le milieu 129-131 information 46

instructeurs 78 intermédiaire (enquête, étude —) 43, 46, 48, 75, 126

J

jugements d'experts 111, 112

L

limites de l'évaluation 37 logistique (enquête, hypothèses sur la —) 74 et suiv., 98-104

M

maîtrise du milieu 131, 132 matériel didactique 109, 110, 119 milieu (étude du —) 30, 61, 66, 67, 70, 71, 81, 108 méthodes de la pédagogie spéciale 109, 118 méthodes d'évaluation 37 modèles théoriques explicatifs 79, 135 à 145 monographies techniques 46 motivation (enquête, étude de —) 30, 65, 66, 71, 74, 81, 93, 108, 128

O

objectifs de projets 62 et suiv. observations (fiche d' —) 41 organisation des cours 98, 102

P

participants — voir caractéristiques PEMA 25 plans expérimentaux 31, 55 planification 72, 73 préalables/préliminaires (enquêtes, études, recherches —) 43, 61, 72, 73, 105, 106, 115, 128 principes de base de l'alphabétisa­tion fonctionnelle 108, 116

172

Index

problèmes (recherche, enquête d'identification des —) 61, 69-71, 105, 106 programmes d'alphabétisation 68 programmes expérimentaux 29 programmes opérationnels 32

Q

questionnaires 41

R

rendement quantitatif 77 rendement qualitatif 83 ressources 65, 91 résultats 88 rétroaction régulatrice du pro­gramme 37, 38

S — T

sondage 65, 74, 75, 84

sources d'information 38 tableaux statistiques sur le rende­ment quantitatif 77-78, — quali­tatif 88, sur la logistique 100, sur les contenus de programme 114, sur l'évaluation des changements 157, taux d'abandon 49, de cou­verture 50, de fréquentation 50, d'inscription 49, de participation 50, de réussite 83, d'utilisation du temps 50 technologie éducative 32 tests 85, 86, 94, 124 transformation du milieu 133

V

visite du terrain 40 volonté de changement 128 volonté politique 64

173

[A. 24] ED 77/D 95/F