V. Les sources de vérification et l ’enquête 

Une fois que les indicateurs ont été définis, les sources de vérification doivent être spécifiées. Celles-ci indiquent où et comment obtenir les informations nécessaires aux indicateurs. Elles définissent le type d’activités nécessaires à la collecte de ces informations, leur mode de présentation ainsi que la périodicité de cette collecte.Les sources de vérification sont notées dans la troisième colonne du Cadre Logique aux mêmes niveaux horizontaux des objectifs globaux, de l’objectif spécifique et des résultats auxquels ils se rapportent. Généralement, il est recommandé de recourir aux sources de vérification qui présentent certains avantages. Elles doivent être notamment disponibles, fiables, accessibles, peu coûteuses et assez spécifiques.

QQ fois, il s’avère plus pratique pour le projet d’élaborer ses propres sources de vérification : les sources internes. Dans le cas où des sources de vérification adéquates ne peuvent être trouvées, on peut formuler un autre indicateur, plus vérifiable.

Identifier l ’information et les indicateurs nécessaires Planifier la collecte et l ’organisation des informations

Des méthodes de collecte de donnéesQuestions clés pour déterminer les conditions et besoins nécessaires au fonctionnement du système

V 1 Les données existantesV.2 Les besoins additionnelsV.3 Enquêtes rapides

V.1 Les données existantes

Une fois choisis les objectifs et les indicateurs, il convient d’examiner l’adéquation de l’information existante s’agissant d’obtenir des réponses aux questions liées aux objectifs qui satisfassent aux normes de mesure retenues. Les objectifs et résultats et leurs indicateurs objectivement vérifiables tels qu’énoncés dans les matrices du cadre logique constituent une partie de l’information facilement accessible sur les normes établies. Il importe de veiller à ce que les matrices du cadre logique soient régulièrement mises à jour de manière à inclure des indicateurs objectivement vérifiables et des moyens de vérification qui soient réalistes.

La réalisation des enquêtes est soumise aux aléas des financements des bailleurs de fonds. La programmation de ces enquêtes ne peut donc se faire de manière régulière par les pays et les statistiques ne sont pas produites avec la régularité souhaitable.

Dans la plupart des pays en développement, il n’existe pas actuellement une réelle volonté politique de favoriser les activités statistiques. Le recrutement de statisticiens dans le système statistique public est limité ou même suspendu et les budgets accordés très limités. Ce constat est certainement à rapprocher de l’utilisation encore faible des statistiques disponibles pour prendre les décisions politiques par les gouvernements .

•

CAPACITÉS STATISTIQUES DES PAYS À CALCULER LES INDICATEURS

Contrairement à une idée répandue, les statistiques dans le domaine de la pauvreté sont peu nombreuses.L’absence relative de statistiques fiables dans les pays en développement peut s’expliquer par plusieurs facteurs :Absence de demande au niveau national ;Absence d’utilisation concrète pour la prise de décision ;Manque de moyens humains et financiers pour la réalisation d’opérations statistiques.

D’une manière générale, les données administratives sont de piètre qualité et ne sont disponibles qu’avec retard. Contrairement à une autre idée répandue et en corrélation avec le faible nombre de données, les enquêtes d’envergure nationale dans les pays d’Afrique subsaharienne sont peu abondantes et elles ne sont pas effectuées à des rythmes réguliers.

En outre, il serait nécessaire d’effectuer des évaluations méthodologiques détaillées de ces enquêtes pour juger de la fiabilité de leurs résultats et en particulier de leur précision.

Les enquêtes d’envergure nationale auprès des ménages sont exécutées par les Instituts nationaux de statistique (INS) des pays. Or, d’une manière générale, les ressources humaines des INS sont insuffisantes pour couvrir l’ensemble de leurs missions. Depuis la mise en place des CSLP, on peut certes noter une recrudescence des enquêtes sur le niveau de vie des ménages et un accroissement encore plus important des projets d’enquêtes. Ces enquêtes « de démarrage » des CSLP, actuellement réalisées sur financement extérieur, seront-elles répétées régulièrement, et surtout, seront-elles prises en compte dans un dispositif permanent financé au niveau national ?

Des informations permettant d’atteindre les objectifs planifiés, peuvent être néanmoins obtenues des sources suivantes : plans de travail relatifs au projet; rapports intérimaires et d’évaluation; rapports des visites de suivi sur le terrain; évaluations techniques et rapports d’enquête; statistiques nationales; rapports de recherche; documents directifs du gouvernement, etc.

Il peut être utile d’analyser les données existantes pour mieux formuler les indicateurs, identifier les informateurs qui seront ultérieurement interviewés, mettre au point des protocoles d’interview, et déterminer quelles données importantes font défaut et devraient être collectées.

Si les situations varient selon le pays et le dispositif, on retrouve le plus souvent plusieurs problèmes généraux :

•les problèmes techniques, aussi bien au niveau de la collecte que des traitements, qui font qu’une partie des données collectées n’est pas exploitable et que leur disponibilité reste théorique ;• les unités d’observation et les nomenclatures utilisées, qui varient parfois d’une enquête à l’autre, ce qui rend difficile les croisements d’information entre plusieurs enquêtes ;•de doubles emplois dans la collecte des informations (par exemple sur les prix). Les raisons sont multiples : l’absence d’annuaires statistiques actualisés sur le secteur, les échanges d’information très réduits entre les différents systèmes d’enquête, et la difficulté d’accéder aux informations collectées par d’autres ;•des traitements partiels pour des raisons de temps, de manque de personnel qualifié et de financement ;

•des productions irrégulières de statistiques, faute notamment de financements pérennes. De nombreux services fonctionnent grâce à des ressources extérieures liées aux projets, et les collectes et publications sont souvent interrompues quand le budget de l’Etat ne reprend pas le relais ; •des difficultés liées à l’insuffisante représentativité des échantillons de nombreuses enquêtes, résultant souvent de problèmes de coût, ainsi qu’à l’insuffisance de certaines données de base, ce qui limite la portée et l’usage de nombreuses statistiques ; •peu d’exploitation de la dimension spatiale des informations : alors que plusieurs sources statistiques collectent des informations sur l’ensemble du territoire, on ne dispose pas, sauf quelques cas isolés, de synthèses statistiques départementales ou régionales.

Dans le cadre logique pour chaque indicateur défini, doit être identifié les variables statistiques nécessaires pour son calcul et les types d’enquêtes permettant de collecter ces informations si nécessaire.

Pour chaque indicateur, on doit préciser par ailleurs le ou les types d’opérations statistiques qui permettent son calcul. Il faut aussi préciser la fréquence de calcul des indicateurs et les catégories infranationales pour lesquelles ils sont calculés (zones géographiques, groupes, etc.).

Ces précisions sont indispensables car si des résultats obtenus au seul niveau national présentent un certain intérêt pour des comparaisons au niveau international et pour un suivi temporel, ils sont d’un intérêt plus limité pour les décideurs nationaux qui doivent mener des politiques au niveau de régions ou de certaines parties de la population. Il est difficile de concevoir des politiques et des programmes adéquats si l’on ne dispose pas de vision décomposée révélant les différences entre les régions, les sexes ou les groupes sociauxPour certains indicateurs n’ayant pas encore éventuellement été calculés à partir d’un dispositif statistique précis, des propositions d’enquêtes doivent être faites. La fréquence de suivi d’un indicateur doit être un compromis entre le besoin de données récentes et fréquentes et le coût de la collecte.

Il y a plusieurs types d’enquêtes  :

Recensements : dénombrements complets de tous les individus composant une population donnée.

Enquêtes structurées par sondage et à grande échelle (par exemple, enquêtes démographiques et sanitaires) : portent sur un sous-groupe représentatif, choisi au hasard, à partir duquel les chercheurs formulent des généralisations sur la population entière.

Enquêtes non structurées par sondage et à petite échelle (par exemple, enquêtes CAP – c.à.d. portant sur les connaissances, attitudes et pratiques) : échantillon de 30 à 50 individus non choisis au hasard (par exemple, sélection délibérée de personnes appartenant à diverses catégories en fonction de leur facilité d’accès) auxquelles sont posées quelques questions (de 10 à 20).

Les types d ’enquêtes existantesLes enquêtes pluri-thématiques les plus couramment réalisées sont brièvement décrites ci-après :

Recensements de population• Principaux thèmes abordés : caractéristiques de l’habitat, caractéristiques démographiques incluant l’âge, le sexe, les handicaps, le statut de résidence, les activités, l’état matrimonial, le lieu de résidence, etc.• Fréquence: tous les 10 ans environ

Enquêtes sur les conditions de vie• Principaux thèmes abordés : revenus et dépenses, santé, éducation, emploi, agriculture, accès aux services de base, etc.• Fréquence: très variable selon les pays• Variantes : LSMS, enquête intégrale, enquête prioritaire

Enquêtes d’évaluation et de suivi rapide (QUID ou CWIQ)• Principaux thèmes abordés : accès à l’éducation et à la santé et indice de satisfaction de la population, emploi, nutrition, caractéristiques de l’habitat• Fréquence: dispositif très récent mais en voie d’être exécuté de manière régulière dans de nombreux pays.

Enquêtes 1-2-3• Principaux thèmes abordés : emploi, secteur informel, revenu, consommation, gouvernance, démocratie et d’autres thèmes selon la demande• Fréquence: enquête réalisée dans de nombreux pays mais seulement au niveau de la capitale ou du milieu urbain.

Enquêtes qualitatives et participatives (PPA):

• Principaux thèmes abordés : perception de la pauvreté, inégalités au sein des ménages, difficultés subies par les pauvres et facteurs de la pauvreté, actions jugées prioritaires, etc.

• Fréquence: dispositif très récent et peu utilisé encore

Il existe par ailleurs d’autres enquêtes plus spécialisées. Les plus fréquentes sont les suivantes :

Enquêtes budget consommation

• Principaux thèmes abordés : revenus et dépenses, caractéristiques de l’habitat, caractéristiques démographiques, éducation, santé

• Fréquence: très variable

Enquêtes démographiques et de santé (EDS)

• Principaux thèmes abordés : niveau d’instruction et fréquentation scolaire, caractéristiques de l’habitat, comportements en termes de santé et de fécondité, disponibilité des services communautaires, anthropométrie, etc.

• Fréquence: tous les 4-5 ans

Enquêtes à indicateurs multiples (MICS)

• Principaux thèmes abordés : caractéristiques de l’habitat et hygiène, éducation, travail des enfants, santé pour les femmes et les enfants, etc.

• Fréquence: dispositif récent et enquête tous les 4 ans

Les systèmes de collecte d’information sur le secteur rural sont par exemple essentiellement constitués d’enquêtes dont la fréquence et le nombre sont très variables selon les pays. On peut distinguer :

•les enquêtes de structure : recensements de population et de l’habitat (RGPH), recensements de l’agriculture et de l’élevage, enquêtes budget-consommation (EBC), enquêtes emploi, enquêtes démographiques et de santé (EDS). Elles présentent des caractéristiques identiques : échantillon relativement élevé, base de sondage ménage, fréquence supra-annuelle ;•les enquêtes de conjoncture: enquêtes agricoles, systèmes d’information sur les marchés (SIM) et autres collectes de prix, systèmes d’alerte précoce (SAP) et autres systèmes sur la sécurité alimentaire, enquêtes sur les conditions de vie et la pauvreté  ; •les autres dispositifs : les observatoires (qui peuvent porter sur des filières, des thèmes ou des zones géographiques), les enquêtes spécifiques réalisées dans le cadre des projets, des programmes de recherche ou de l’élaboration de politiques sectorielles), les systèmes de S/E des projets …

On se trouve donc en face d’une grande diversité d’enquêtes ou de dispositifs, portant parfois sur les mêmes thèmes. Ainsi, au moins cinq enquêtes collectent des informations sur la pauvreté sous des appellations différentes (LSMS, enquête prioritaire, conditions de vie, enquête 1- 2- 3 , CWIQ). Dans le domaine de la sécurité alimentaire, plusieurs dispositifs coexistent également : FEWS, SAP, SMIAR…

Dans le cadre d’un projet il convient d’éviter les enquêtes à grande échelle et offrant des complexités techniques, car elles sont coûteuses et prennent du temps. Des enquêtes non structurées par sondage et à petite échelle peuvent fournir des données quantitatives utiles, par exemple sur l’utilisation des services et leur accès, afin de compléter d’autres données existantes.

Type d’indicateurs Indicateurs Instruments requis Fréquence souhaitable

Entrée Dépenses publiques,ressources humaines

-Documents budgétaires -Enquête de suivi desdépenses-Données sur lesdépenses réelles-Données salariales.

Mensuelle ou trimestriellesi possible, annuelle auminimum

Sortie (résultat opérationnel) Infrastructures, servicesfournis

-Reg istres administratifsdes gouvernement centralet locaux Systèmed'informat ion de gestion-Enquêtescommunautaires

Tous les six mois sipossible, annuelle auminimum

Résultat intermédiaire Accès et utilisation desservices

-Enquêtes prioritaires etde suivi-Enquêtes pluri-thématiques auprès desménages

Annuelle si possible

Les besoins en matière de données

Résultat final Consommation etrevenus des ménages,indicateurs sociaux,indices de satisfaction,etc.

-Enquêtes budget-consommation-Enquêtes thématiquesauprès des ménages(démographiques et desanté, niveau de vie, etc.)-Enquêtes qualitatives

Tous les trois à cinq ans

Autre Prix de détail et à laproduction, donnéesclimatiques, etc.

Mesure directe Collecte des prixmensuelle ou trimestrielleDonnées climatiquesquotidiennes si possible

Sources : Sourcebook, volume 1, chapitre 3

A titre d'illustration, le tableau 3 fournit un inventaire des enquêtes auprès des ménages réalisées dans les onze pays africains depuis 1990. Source DIAL

Liste des enquêtes nationales réalisées depuis 1990

1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002

Burkina Faso ED EDS CV1 RGP + MICS ? EA CV1 EDS RGP CV?

Gambie RGP + CV1 CV2 CV1 CV2 MICS

Guinée CV1 EDS + EA CV3 RGP + MICS + EA EA EDS CWIQ

Malawi CV3 EDS MICS RGP + CV3 EDS CV0

Mauritanie CV2 CV1 CV1 CV2 MICS EA RGP EDS

Mozambique CV? MICS CV3 RGP + EDS CV0 + CWIQ

Niger CV3 + EDS EA EA MICS EDS MICS RGP CWIQ

Ouganda CV3 RGP + EA CV3 CV1 CV1 EDS CV1 CV2 CV3 EDS

Rwanda* RGP EDS CV1 EDS + MICS CV0 + CWIQ

Tanzanie* CV3 EDS EDS CV1

Zambie EA RGP + CV1 EDS + EA CV1 CV3 MICS CV1 + EDS CV1 RGP EDS CV?

Source : Banque Mondiale * Pays ayant réalisé des enquêtes agricoles avant 1990Note : Cette liste peut contenir certaines erreurs et omissions. Elle n'a pas été validée par les servicesstatistiques des pays concernés.

Liste des sigles :CV0 Enquête sur les conditions de vie des ménages sans volet budgétaire

EDEnquête démographique

CV1 Enquête sur les conditions de vie des ménages avec volet budgétaire très limitéEDSEnquête démographique et de santé

CV2 Enquête sur les conditions de vie des ménages avec volet budgétaire limitéMICSEnquête à indicateurs multiples

CV3 Enquête sur les conditions de vie des ménages avec volet budgétaire completRGPRecensement général de la population

CWIQ Enquête sur les indicateurs de bien-être (Core Welfare Indicators Questionnaire)EA Enquête agricole

V. 2 Questions aidant à déterminer si des données additionnelles sont nécessaires.

•Jusqu’à quel niveau faut-il aller dans le détail? Quelle différence cela fera-t-il si des informations additionnelles sont obtenues ou non?

• Comment seront utilisées les informations additionnelles? Il importe de collecter seulement les informations qui seront utilisées et d’utiliser toutes les informations collectées.

• Quel est le degré de crédibilité des différents types de données? Le niveau de crédibilité des sources de données et des méthodes de collecte des données détermine l’acceptation et l’utilisation des conclusions et recommandations par les utilisateurs prévus.

• Quand l’information est-elle nécessaire? Les limitations de temps peuvent dicter la durée et la nature des activités de collecte de données additionnelles.

• De quelles ressources dispose-t-on? Le degré de disponibilité des compétences et des ressources financières détermine le niveau de complexité de la collecte de données additionnelles.

Comment déterminer les méthodes de collecte de données additionnelles

L’étape suivante consiste à identifier la manière de collecter les données additionnelles nécessaires. On peut utiliser à cette fin des méthodes de collecte de données quantitatives et qualitatives.

Les méthodes de collecte de données quantitatives et qualitatives sont notamment les suivantes :Poser des questions dans le cadre d’interviews individuelles et de groupe, par exemple les débats de groupes de discussion et les interviews communautaires;Conduire des enquêtes;Observer les personnes, les processus, les objets, les conditions et les situations.

Les méthodes de collecte de données quantitatives et qualitatives ont chacune leurs points forts et leurs points faibles et se prêtent à répondre à différents types de questions.

Caractéristiques des méthodes de collecte de données quantitatives et qualitatives

M é th o d e s q u a n t ita t iv e s M é th o d e s q u a lita t iv e s

U t i lis a ti o n Dénombrer les « qui, quoi,quand, où, combien » etmesurer la fréquence.

Analyser qualitativement le« comment » et« pourquoi ».

E x e m p le s Interviews standardisées;enquêtes recourant à desquestions d’objet limité;observation.

Interviews libres et dirigées(y compris celles portantsur un groupe dediscussion); enquêtesrecourant à des questionsd’objet limité; observation;interprétation dedocuments.

P o in tsfo r ts

Fournissent des « donnéesfermes » quantitatives,exactes et précises pourprouver que certainsproblèmes existent.

Sont utiles quand onplanifie un programmeportant sur le changementsocial.

Peuvent vérifier les relations statistiques entreun problème et ses causes apparentes.

Peuvent fournir un vaste coup d’œil sur unepopulation entière.

Permettent des comparaisons.

Mettent en place des informations de base quipeuvent servir à évaluer l’impact.

Fournissent une compréhensionapprofondie du contexte d’unprogramme/projet afin d’interpréter desdonnées quantitatives.

Fournissent des aperçus sur lesattitudes, croyances, motifs etcomportements d’un petit échantillon depopulation (familles, communautés).

Mettent en place des informations debase qui peuvent servir à évaluer desissues qualitatives (changementsintervenus dans les connaissances,attitudes, comportements, processusinstitutionnels, etc.).

Sont utiles en cas de limitation de fondset de temps.

So nt uti les p o ur o b te ni r des pa rtie spre na nte s un re to ur d e l’i nfo rm ati o n.

Peuvent être précises, mais sans mesurer ceque l’on voulait.

Sont généralement nonreprésentatives; ne permettent pas lesgénéralisations.

Ne peuvent expliquer les causes sous-jacentesde situations données.

Risquent de porter la marque desidées préconçues des interviewers,observateurs et informateurs.

Analyse quantitative des données

L’analyse quantitative des données interprète les constatations chiffrées en les situant dans le contexte du projet. Comme ceux qui exécutent les activités afférentes à un programme en connaissent le mieux le contexte, ils doivent collaborer afin d’apprécier si les chiffres ont un sens satisfaisant; s’ils reflètent adéquatement les objectifs du projet; quelles explications donner de chiffres inattendus; quelles conclusions et recommandations peuvent être tirées des chiffres.

Analyse qualitative des donnéesTandis que certains comptes rendus résultant d’interviews approfondies et de débats d’un groupe de discussion sont des illustrations autonomes de thèmes importants, il importe beaucoup dans la plupart des cas d’analyser de manière plus systématique les données qualitatives.

Critères de choix des méthodes de collecte des données

• Déterminer quelles méthodes de collecte des données répondent le mieux aux besoins statistiques du CL.

• Choisir la méthode en fonction des ressources disponibles. Cela peut signifier qu’il faut réexaminer les indicateurs, ou déterminer d’autres options permettant de rester dans les limites du budget. Cela peut aussi signifier qu’il faut trouver des ressources additionnelles pour financer des enquêtes supplémentaires

• Choisir les méthodes qui faciliteront la participation à l’évaluation des principales parties prenantes du programme.

• Renforcer la crédibilité et l’utilité des résultats en combinant des méthodes d’évaluation différentes s’il y a lieu.

V. 3 Méthodes d’évaluation rapide

Ces méthodes constituent un moyen rapide et peu coûteux de consulter les bénéficiaires et autres parties prenantes pour fournir aux décideurs les informations dont ils ont besoin.Quelles sont les applications possibles ?

Fournir rapidement les informations nécessaires à la prise des décisions de gestion, surtout au niveau d’un projet ou d’un programme ;Porter une appréciation qualitative sur des changements socioéconomiques complexes, des situations sociales fortement interactives, ou les valeurs, motivations et réactions de la population ;Situer dans leur contexte et interpréter les données quantitatives réunies au moyen de méthodes plus formelles.

AVANTAGES :Coût faible ;Rapidité ;Instrument souple pour explorer de nouvelles idées.INCONVÉNIENTS :Les observations ne concernent généralement qu’une communauté ou une localité particulière — il est donc difficile d’en tirer des conclusions générales ;Instrument moins valide, fiable et crédible que les enquêtes formelles.COÛT :Faible à moyen, selon le champ d’application des méthodes retenues.COMPÉTENCES REQUISES :Compétences dans les domaines suivants : entrevues non directives, facilitation de groupes, observations sur le terrain, prise de notes, et statistiques de base.TEMPS NÉCESSAIRE :De quatre à six semaines, selon le nombre de personnes interrogées, la localisation et le nombre des sites observés

Retour sur les enquêtes formellesCet instrument peut servir à réunir des données normalisées sur un échantillon soigneusement sélectionné d’individus ou de ménages. Ces enquêtes visent souvent la collecte d’informations comparables auprès d’un nombre relativement élevé de personnes appartenant à des groupes cibles particuliers.

Quelles sont les applications possibles ?Fournir la base de référence qui permettra de mesurer la performance de la stratégie, du programme ou du projet ;Comparer différents groupes à un moment donné ;Comparer les changements intervenus au sein d’un même groupe au cours d’une période donnée ;Comparer la réalité aux objectifs définis lors de la conception du programme ou du projet ;Déterminer la situation d’une communauté ou d’un groupe particulier ;Fournir des éléments d’information essentiels en vue de l’évaluation formelle de l’impact d’un programme ou projet ;Évaluer les niveaux de pauvreté en vue de la préparation de stratégies de réduction de la pauvreté.

AVANTAGES :Les conclusions tirées des réponses fournies par l’échantillon interrogé peuvent être appliquées à l’ensemble du groupe cible ou de la population ;On peut établir des estimations chiffrées de l’ampleur et de la distribution des impacts.INCONVÉNIENTS  : Le traitement et l’analyse des données peuvent constituer un goulet d’étranglement majeur pour les enquêtes de grande envergure, même si l’on dispose d’ordinateurs ;Les études de mesures des niveaux de vie et les enquêtes sur les ménages coûtent cher et prennent du temps . Il est difficile d’obtenir de nombreux types d’information dans le cadre d’entrevues formelles.

Les autres moins formelles

Enquête à objectifs multiples sur les ménages (appelée aussi Étude de mesure des niveaux de vie) : enquête intégrée permettant de réunir des données sur plusieurs aspects des conditions de vie pour éclairer la prise de décision. Les informations recherchées couvrent les dépenses, la composition du ménage, l’éducation, la santé, l’emploi, la fécondité, la nutrition, l’épargne, les activités agricoles et autres sources de revenus.

Les enquêtes à objectif unique étudient de façon plus approfondie un moins grand nombre de questions.

Questionnaire sur les grands indicateurs du bien-être (CWIQ) : enquête sur les ménages visant à mesurer la variation de certains indicateurs sociaux pour différents groupes de population — ces indicateurs portant en particulier sur l’accès aux services sociaux et économiques, l’utilisation de ces services, et le degré de satisfaction des clients. C’est un moyen efficace et rapide d’améliorer la conception des activités, de cibler les services sur les pauvres et, lorsque l’enquête est répétée chaque année, de suivre la performance des activités. Les résultats préliminaires peuvent être disponibles dans les trente jours suivant l’administration du questionnaire.

Enquête sur la satisfaction des clients (ou sur la prestation des services) : on utilise ce type d’enquête pour évaluer la performance des services publics en demandant leur avis aux clients de ces services. Ces enquêtes fournissent des indications sur les contraintes auxquelles se heurtent les clients pour accéder aux services publics, permettent de savoir ce qu’ils pensent de la qualité et de l’adéquation des services et de déterminer la capacité d’adaptation de l’administration. Elles sont normalement effectuées par un ministère ou un organisme public.

Et d ’autres encore moins formelles

Groupe d’expression — cette méthode consiste à faciliter des échanges de vues entre plusieurs participants (de 8 à 12) soigneusement choisis pour avoir un profil similaire. Ces participants peuvent être sélectionnés parmi les bénéficiaires ou le personnel du programme, par exemple. Le facilitateur utilise un guide de discussion. D’autres personnes enregistrent les commentaires et observations.

Consultation d’un groupe communautaire — cette méthode consiste à poser une série de questions et à faciliter le débat au cours d’une réunion ouverte à tous les membres de la communauté. L’enquêteur suit un questionnaire soigneusement préparé.

Observation directe — cette méthode consiste à consigner sur un formulaire détaillé ce qui a été vu et entendu sur les lieux de réalisation d’un programme. Les informations peuvent concerner les activités en cours, les procédures, les discussions, les interactions sociales et les résultats observables.

Mini-enquête — cette méthode repose sur l’utilisation d’un questionnaire structuré pour poser un nombre limité de questions fermées à un groupe de 50 à 75 personnes. Le choix des enquêtés peut être aléatoire ou « raisonné » (par exemple, interview de parties prenantes en un lieu tel qu’un dispensaire dans le cas d’une enquête sur les soins )Feuilles de note : instrument utilisé par les ONG et les centres de réflexion de plusieurs pays. Ce type d’évaluation, similaire aux enquêtes sur la prestation des services, a également servi à mesurer le degré de corruption auquel sont exposés les citoyens ordinaires. La vaste diffusion des informations recueillies constitue l’une des principales caractéristiques de cet instrument

Méthodes participativesLes méthodes participatives permettent d’associer activement à la prise de décision les parties prenantes au projet, programme ou stratégie, et de les amener à souscrire pleinement aux résultats et recommandations.

Quelles sont les applications possibles ?Mieux connaître la situation, les perspectives et les priorités de la population locale, afin de mettre au point des interventions mieux adaptées qui auront de plus grandes chances d’être durables ;Détecter les problèmes et leur apporter une solution au cours de la mise en œuvre ;Évaluer un projet, programme, ou politique ;Améliorer les connaissances et les compétences afin de renforcer les moyens d’action des pauvres.

AVANTAGES :Prise en compte des questions pertinentes grâce à la participation des principales parties prenantes au processus de conception ;Création de partenariats et appropriation locale des projets ;Amélioration de l’apprentissage, de la capacité de gestion et des compétences de la population locale ;Production d’informations actuelles et fiables pour la prise des décisions de gestion.INCONVÉNIENTS :Ces méthodes sont parfois considérées comme moins objectives ;Pour être valable, l’implication des principales parties prenantes prend du temps ;Risque de voir certaines parties prenantes monopoliser le processus pour servir leurs propres intérêts.COÛT :Faible à moyen. Très variable, selon le champ d’application et le degré de détail recherché et selon la valeur attribuée aux contributions locales.COMPÉTENCES REQUISES :Formation d’au moins plusieurs jours pour les facilitateurs.TEMPS NÉCESSAIRE :Très variable, selon le champ d’application et le degré de détail recherché.

Il est très recommandé de recourir à une combinaison des différents types de méthodes de collecte des données qualitatives et quantitatives, tels que l’examen de statistiques, les enquêtes à petite échelle, les interviews et l’observation (ce que l’on nomme aussi triangulation des données). L’observation constitue une méthodologie extrêmement précieuse pour collecter les données qu’enquêtes et interviews ne peuvent saisir avec précision.

Par exemple, l’observation est nécessaire pour apprécier l’interaction client/fournisseur ou étudiant/enseignant et sur des sujets délicats tels que les pratiques sexuelles et procréatrices. Ne s’en remettre en tel cas qu’aux enquêtes et interviews risque de ne pas donner d’informations précises, car les enquêtés rapportent souvent des comportements idéaux et non réels.

L’observation et peut être utile :

· Quand les données du suivi de la performance indiquent que les résultats ne sont pas conformes aux prévisions, et quand des problèmes

d’exécution paraissent se poser, mais qu’on ne les comprend pas. Une observation directe peut aider à déterminer si le processus est médiocrement mis en œuvre ou si des intrants nécessaires font défaut;

· Quand il faut apprécier les détails du processus d’une activité, par exemple déterminer si les tâches sont accomplies conformément aux normes

requises;

· Quand un inventaire des moyens matériels et des intrants est nécessaire et n’existe pas dans les sources disponibles;

·Quand les méthodes de l’interview ont peu de chance de mettre au jour une information précise ou fiable, soit que les enquêtés ne sachent pas, soit qu’ils répugnent à parler.

L’appréciation ruraleL’appréciation rurale participative

L’intention est de faire une évaluation rapidement mais d’obtenir des renseignements plus ou moins justes et utiles.Elle utilise une stratégie systématique afin d’apprendre l’essentiel.Elle focalise sur des sujets d’utilité pratique

L’appréciation rapide

En ce qui concerne la planification des projets, deux notions reviennent souvent dans le débat : ce sont d'une part le diagnostic rapide en milieu rural ou Rapid Rural Appraisal (RRA) propagé vers le début des années 80, notamment par l'Institute for Development Studies (IDS) dans le Sussex en Grande-Bretagne, et d'autre part le diagnostic participatif ou Participatory Rapid Appraisal, appelé aussi Participatory Rural Appraisal (PRA), élaboré sur la base de la précédente et enrichie d'éléments de la recherche-action.

La méthode RRA doit, en un temps relativement court et donc à moindres frais, fournir à une équipe pluridisciplinaire les données de base nécessaires pour la planification de projets et de programmes. L'analyse et l'exploitation des résultats restent en grande partie aux mains des experts externes.

La méthode PRA, par contre, met l'accent sur le rôle actif joué par la population concernée dans la réalisation et l'analyse de l'enquête de même que dans l'évaluation des résultats. Elle accorde de l'importance au processus d'apprentissage des personnes externes par les membres du village ou du quartier dans lequel l'enquête a lieu et à la découverte commune des conditions de vie locales, dans l'objectif d'une planification et d'une action communes. Ce processus est une confrontation de réalités. Comme le propose Chambers, la lettre "R" dans l'acronyme PRA ne devrait donc pas signifier 'rapid' mais 'relaxed', autrement dit une recherche réalisée de façon détendue, sans hâte.

En général l’approche est sémi-structurée : Une sélection d’approches qualitatives et quantitatives

Elle est exécutée par des équipes ayant une pluralité de compétences et d’expériences techniques

Elle est participative: elle implique les parties prenantes

Les utilisations des appréciations rapides

Les évaluations diagnostiques:Visent les processus, les problèmes et les causes des problèmes

La résolution de problèmes:Pourquoi le projet ne marche pas comme prévu?Qu’est-ce qu’on peut faire pour améliorer le projet?

Les appréciations rapides : la collecte de données

Observer: Des tendances répétées, le foncier, lecomportement

Discuter: Discuter avec les gens, écouter leurspréoccupations et leurs points de vue, fairedes entretiens et tenir des réunions

Documenter: Ecrit tout

Localiser: Collecter des données déjà disponibles: des rapports, des documents, des

cartes, des études antérieures

Les méthodes des appréciations rapidesparticipatives

Les entretiens (entre 15-30) Des groupes ciblés Les réunions communautaires Des mini-enquêtes (un nombre réduit de questions

fermées adressées à un petit groupe) La cartographie

Assurer l’apprentissage institutionnel et la mise en place de capacités . La participation éclaircit d’autre part les rôles des différentes parties prenantes dans l’exécution du programme.Négocier les perspectives des parties prenantes.  La participation peut servir de processus permettant à différentes parties prenantes de formuler clairement et de présenter leurs besoins, intérêts et attentes.Garantir un exercice effectif des responsabilités 

Les principes des appréciations rapides

Le processus: Il ne faut pas se presser lors de la collecte de données Chercher et explorer Ecouter au lieu de parler Rester ouvert sans juger, sans s’imposer Chercher ceux qui risquent d’être marginalisés et découvrir

leurs préoccupations

Les principes des appréciations rapides

Optimiser le troc entre la quantité, la pertinence, l’exactitude et l’opportunité

La triangulation: il faut plusieurs techniques et plusieurs sources de données

Face-à-face, l’apprentissage est sur le site L’apprentissage se fait selon un schéma directeur adapté au fur

et à mesure qu’on obtient des renseignements: il faut utiliser une multiplicité de méthodes, improviser et contrôler

L’appréciation rapide agricole

Les renseignements potentiels: Les cultures principales et les rendements (selon la

saison) L’intensité de l’utilisation des terres Les types et les conditions de sols Les grandeurs des exploitations agricoles, les

surfaces cultivées La topographie du terrain L’approvisionnement en eau Les pratiques culturales

L’appréciation rapide agricole

Les capacités de l’exploitation: L’inventaire d’équipement Les sources d’énergie La main d’œuvre Les sources de revenus Les problèmes

L’appréciation rapide agricole

Les aspects socio-économiques: Les systèmes fonciers Les unités de prise de décision Les revenus agricoles La disponibilité des ressources L’âge et le niveau scolaire

La collecte des données qualitatives

Méthode indiquée pour les données qui proviennent des: Documents narratifs Entretiens ouverts Réponses aux questions ouvertes sur les

questionnaires Groupes ciblés Journaux Observations

L’analyse des données qualitatives

La triangulation: Des sources multiples des mêmes

renseignements Des sources multiples des renseignements

différents Utiliser des collecteurs de données différents

Des enquêteurs ou des observateurs différents Si les mêmes résultats sont vérifiés par différentes

méthodes de collecte de données, les résultats seront davantage crédibles

La cartographie

Un moyen de comprendre une communauté Un processus pour impliquer les citoyens dans la

compréhension de leur communauté Un moyen de collecter et de tracer l’information sur la distribution,

l’accès et l’utilisation des ressources dans une communauté Une technique participative

Aide la population à visualiser leurs ressources Aide l’identification de ce qui est important Un outil important pour l’évaluation participative

Des cartographies

La cartographie historique La cartographie sociale La cartographie sanitaire La cartographie des richesses La cartographie des sources d’eau La cartographie du foncier La cartographie des biens et des

ressources

La cartographie transversale

Traverser le village à pied Faire un tour systématique d’une région géographique Inclure les localités isolées ainsi que des localités où les

habitants seront touchés de façon adverse Identifier des micro-environnements Identifier des opportunités ainsi que des problèmes

La cartographie des ressources

Technique appropriée lorsque le facilitateur a un bon rapport avec la communauté

Technique appropriée à condition que la communauté soit bien définie

Peut être utilisée à n’importe quel moment pendant le cycle du projet

Peut générer des données qualitatives et quantitatives

La cartographie des biens

Un moyen de collecter des données à l’aide d’un processus qui fait participer les citoyens dans la reconnaissance des forces des résidents tout en construisant une vision positive et un engagement pour la réalisation de cette vision

Facilite la compréhension des capacités d’une communauté à élaborer un programme

Facilite la compréhension des capacités d’une communauté à élaborer une appréciation rapide ou une évaluation participative

La cartographie des biens

Des biens individuels: les compétences, le talent, les réseaux, l’argent, la formation

Des biens civiques: des associations religieuses, des coopératives des quartiers,des groupes sociaux, des groupes de loisirs

Des biens institutionnels: les services du gouvernement, les commerçants, les écoles et les collèges, les services de santé, les services sociaux, les agences de développement économique, les parcs et les réserves, les centres culturels

QQ biais

1)  les biais dus à l’appréciation générale de l’objet sur lequel l’enquête va porter 2)  les biais dus et à l’extériorité de l’enquêteur

3)  les biais dus à une mauvaise utilisation de l’outil “enquête”  

1)       les biais dus à l’appréciation générale de l’objet sur lequel l’enquête va porter 

 1.1     Biais dus à une mauvaise appréciation des tensions affectant l’objet enquêté

- entre groupes cibles et promoteurs des projets qui viennent de l’extérieur-   entre bénéficiaires (enquête invalidée si les tensions affectant l’objet enquêté ne sont pas prises en compte)

o        biais dus à la difficulté de faire émerger les besoins (fragilité de la notion de besoins)o        biais dus à la non prise en compte des groupes stratégiques (nécessité de faire émerger les groupes stratégiques constitués de part d’autre de l’objet enquêté)

 1.2     Les biais dus aux stratégies des groupes cibles (enquête invalidée si elle n’anticipe ou ne décèle pas les stratégies pouvant affecter l’objet de l’enquête)

-         Stratégie de détournement : -          Stratégie d’accaparement-          Stratégie légitime de sélection-          Stratégie “d’assistancialisme” Stratégie de sécurité

2)       les biais dus et à l’extériorité de l’enquêteur 2.1     Les biais du à la position de l’enquêteur-          Difficultés de voir les impacts inattendus(enquête invalidée si elle n’anticipe pas ou ne révèle pas les éventuels effets indirects ou induits)-          Difficulté de voir l’historique du développement (enquête invalidée si l’objet sur lequel elle porte n’est pas resituée dans l’histoire)-          Difficulté d’identifier l’offre existante “hors projet”(enquête invalidée si l’objet sur lequel elle porte n’est pas comparé à ce qui existe « hors objet »)

2.2     Les biais induits par les représentations stéréotypées(enquête invalidée si les cadres conceptuels qui la structurent endossent certains types de représentations biaisées plaqués sur l’objet enquêté)-  Stéréotype de la communauté villageoise consensuelle-  Stéréotype de la communauté villageoise inscrite dans le traditionalisme -   Stéréotype de la communauté villageoise passive -   Stéréotype de la communauté villageoise réfractaire   

3) Les biais dus à la méthodologie de l’enquête 3.1 ) Les biais dans la conception de l’échantillon de populationLes différents modes d’échantillonnage

Prélèvement au hasardEchantillon simple prélevé au hasard (choix des sujets à enquêter par génération de nombre aléatoire sous Excel)Echantillon stratifié prélevé au hasard (la combinaison aléatoire choisie est celle qui respecte la représentation de certains sujets prédéterminés et désignés comme devant faire partie de l’échantillon)

Prélèvement non au hasardLa méthode des quota(la répartition de la population en classe jugée pertinente est reportée dans les mêmes proportion sur celle de l’échantillon)La méthode des quotas stratifiés(sur représentation volontaire de classes sensibles faibles en valeur absolues)La méthode par accident (choix des sujets interrogés laissé au hasard des rencontres)La méthode du jugement (sans faire de quotas, on prédétermine l’identité des enquêtés)La méthode boule de neige (l’enquêté indique quel va être le prochain enquêté)La méthode de l’échantillonnage systématique (un point de départ est choisi au hasard à partir duquel, selon une fréquence fixe, on choisit les autres sujets)

L’échantillon peut-il et doit-il être représentatif

Parfois oui(lorsque l’objectif est d’extrapoler, de produire de quantités, des grandeurs)Parfois non(lorsque l’objectif est de recueillir des représentations, de réfléchir sur des relations, des idées, sans avoir à généraliser, qui sont validées par leur contexte d’occurrence)

Quelle doit être la taille de l’échantillon ?

la taille de la population étudiée(tableau de taille minimale d’échantillon selon la taille de la population et niveau de confiance voulu)

le niveau de confiance voulu (% de chance que l’échantillon soit différent de la population en général.

le degré de précision voulu (marge statistique ou intervalle avec lequel il faut relativiser la précision des résultats) Au delà des enquêtes individuelles : les groupes ciblés (pertinence et limites des méthode d’entretien collectif)

Au delà des enquêtes individuelles : les jugements d’experts ‘ travaux de Deville Laville

3.2) Les biais dans la conception et la passation de l’enquête

Le libellé des questions

le parti-pris de l’enquêteur l’identité et l’attitude de l’enquêteur

les faits et les opinionsla déformation conservatrice l’attirance pour la réponse “oui” :  

Le choix de la méthode d’enquête : questionnaire ou entretienl’approche qualitative et l’approche quantitative le questionnaire pour quoi faire ? l’entretien pour quoi faire ?(direct, semi direct, libre)l’homogénéité des contextes de production

Le coût des enquêtes

En absence d’analyse financière sur l’ensemble des enquêtes faisant l’objet de cette analyse, on peut toutefois établir qq indicateurs de coût.

Enquêtes lourdes (de structures)Coûts Mini(M Euros)

Coûts maxi (MEuros)

Taille moyenned’échantillon

RGPH 4000 6000 exhaustiveRGA 4000 5500 6000-10 000EBC 2000 3000 6000 – 10 000DHS 10 000 - 15 000

Mini / Maxi correspond à la taille des pays

Enquêtes de conjoncture (auprès des ménages à couverture nationale)Coûts Mini(M Euros)

Coûts maxi(M Euros)

Taille moyenned’échantillon

Nbre depassages

ENQUETERURALES

Enquêtes agricoles deconjoncture

80 250 2000 - 3000 5-6

Enquêtes conditions de vie(type CWIQ)

165 350 5000 – 7 000 1-2

ENQUETESURBAINES

Enquêtes 1.2.3 170 200