Module Lévaluation en éducation pour la santé : Les outils dévaluation Cécile Cayre / Emilie Jung Formation-action en éducation et promotion de la santé

Module L’évaluation en éducation pour la

santé :Les outils d’évaluation

Cécile Cayre / Emilie Jung

Formation-action en éducation et promotion de

la santé

Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé

Comment évaluer : étapes et outi ls

L’évaluation en éducation pour la santé


Les étapes de l’évaluation


1ère étape : Préparer l’évaluation

2ème étape : Réaliser l’évaluation

• Recueillir les informations nécessaires• Analyser les données, tirer les conclusions• Répondre aux questions posées à l’évaluation et faire

des recommandations

3ème étape : Valoriser son évaluation

1ère étape : Préparer l’évaluation

Constituer un comité d’évaluation avec chaque partenaires de l’action : professionnels, publics visés, (financeurs), … le comité d’évaluation peut être constitué des mêmes personnes que le comité de suivi.

Déterminer les objectifs et l’utilisation prévue de l’évaluation

Construire la méthode d’évaluation Indicateurs, critères, modes de recueil de l’information, budget, calendrier « Qui fait quoi, où, quand, avec qui et comment ? »

Mobiliser les ressources (humaines et matérielles) nécessaires

Planifier le travail d’évaluation autant que l’action elle-même


Pour rappel : ces éléments ont déjà été élaborés à la phase de rédaction des objectifs

Critère d’évaluation Permet d’apprécier le degré d’atteinte des objectifs Cohérence indispensable entre objectif et critère évaluation

Indicateur d’évaluation Mesure du critère Données observables, concrètes à recueillir

Outils d’évaluation Instruments de mesure ou de recueil des indicateurs

1ère étape : Préparation de l’évaluationRéaliser le protocole d’évaluation


2ème étape : Réalisation

Recueillir les informations nécessaires Les quatre sources d’information utilisables :

1) Les documents Documents créés dans le cadre de l’action, (liste de présence, rapports d’activité, comptes-rendus…),

2) Les données existantes Indicateurs calculables à partir de bases de l’ARS, l‘Assurance maladie, l’Insee, du PMSI, des registres, de l’Inserm…Certains indicateurs accessibles via des bases d’indicateurs (Isstal, Score Santé…) ou des enquête déjà réalisées.


2ème étape : Réalisation

3) L’observation ou mesure directe (infrastructures, activités, personnes, matériel)

4) Les enquêtes : qualitatives/ quantitatives

Nécessite la construction d’outils


Généralités :

Les outils d’évaluation doivent être construits spécifiquement pour son action.

Une action nécessite souvent l’élaboration de plusieurs outils d’évaluation.

Le type d’outil à réaliser est fonction du type d’évaluation (processus/résultats) , des critères et indicateurs d’évaluation.

Les outils d’évaluation


O U T I L S D ’ É VA L UAT I O N D U P R O C E S S U S

Plate-forme en éducation pour la santé en Alsace – Formation action en éducation pour la santé Module 5/Session1

Outils d’évaluation du processus = Outils de suivi

1ère étape :

Construction de ces outils : reprendre l’ensemble des indicateurs de processus et définir l’outil de recueil des données

Outil personnalisable: tableau, grille, fichier…

2ème étape: recueillir les données tout au long de la réalisation des activités

Outils d’évaluation du processus


Le tableau de bord Permet la visualisation dans le temps des différentes activités d’un

projet

Permet la répartition et la visualisation des tâches pour chaque partenaire du projet

Peut être utilisé en réunion de travail autour du projet pour convenir de la répartition des tâches

Outil indispensable pour le coordonnateur de projet

Types d’outils pour l’évaluation de processus


Exemple d’évaluation de processus

Exemple : action « Collèges et Nutrition »

Objectif opérationnel 1 : Organiser 10 formations de professionnels de la restauration à l’application des recommandations nutritionnelles du PNNS. Indicateurs : nombre de formationOutils de suivi : listes de présence aux formations/animations

Objectif opérationnel 2 : mettre à disposition de chaque établissement scolaire un outil « table des calories » Indicateurs : nombre d’outil « table des calories » distribués/nombre d’établissements ciblésOutils de suivi : tableau de suivi de la distribution


Echéancier/ partenaires

Sept Oct Nov Déc…

avril mai juin Septembre…

Coordinateur A Contact établissements scolaires

Logistique soirée parents

Envoi invitation soirée parents

Soirée parents

Recueil données évaluation

Partenaire B Interventions Soirée parents

Partenaire C…

Interventions Soirée parents

Tableau de bord: construction


Intérêts : Mieux visualiser son projet, Se « désangoisser », Assurer une bonne répartition des tâches dans le temps et entre

partenaires, Communiquer efficacement sur l’action avec ses partenaires, Facilite le travail au moment de l’interprétation des résultats

Limites: Nécessite un temps d’appropriation pour savoir en réaliser, Prend du temps à réaliser !

Intérêts et limites de ces outils


Outils d’évaluation des résultats


Evaluation du résultat = évaluation de l’atteinte des objectifs généraux et intermédiaires

Objectif : augmenter le nombre d’enfants de 6 ans vaccinés contre la rougeole

Indicateurs : écart entre le nombre d’enfants vaccinés avant l’action et le nombre après

Mise en place d’un recueil spécifique de cette vaccination lors de la visite médicale d’entrée au CP

Outils d’évaluation du résultat


Outils d’évaluation des résultats

Le questionnaire


Points forts : Permet d’avoir des réponses précises à ses questions d’évaluation Permet de garantir l’anonymat Permet d’interroger un grand nombre de personnes

Limites : Méthode impersonnelle, ne favorise pas l’implication de l’enquêtéDemande beaucoup de temps et de technicité (de la conception à l’analyse en passant par le recueil l’informatisation le traitement statistique)

Le questionnaire: exemple

Critère :connaissances sur équilibre alimentaire

Indicateur : nombre de nouvelles connaissances acquises

Outil : questionnaire de connaissances


Exemple de questionfermée/ouverte

Questions Réponses

Question fermée :

Parmi les informations suivantes, quelles sont celles que vous ne connaissiez pas avant l’action ?

Les féculents ne font pas grossir

Les fruits et légumes ont des effets protecteurs sur certains cancers

…

Questions ouverte :

Quelles informations sur les fruits et légumes avez-vous appris grâce à cette action

…


Le questionnaire : autre exemple

Autre type d’outil : l’entretien


Points forts :

Permet d’avoir des éléments d’information plus détaillés (représentations, attitudes)Permet d’utiliser des relancesPermet de lever les ambiguïtés en cas d’incompréhension

Limites :

Ne permet pas l’anonymatNe permet pas d’interroger un grand nombre de personnes

L’entretien: exemple

Objectif: faire évoluer les représentations autour de l’alimentation

Critère: les représentations autour de l’alimentation

Indicateurs: nombre de personnes pour lesquelles au moins deux représentations ont évolué.


L’entretien: exemple

En amont du projet Utilisation d’un outil (ex :Photolangage) afin de faire

émerger les représentations.

En aval du projet Ces représentations seront à nouveau interrogées lors

d’entretiens d’évaluation, afin de déterminer si elles ont évolué ou pas.


Autre type d’outil : l’observation


Points fort :

Permet d’obtenir des informations objectives (ne dépendant pas de l’opinion d’une personne).

Limites :

Subjectivité de l’observateur

L’observation: exemple

Critère : participation des supermarchés à la promotion des fruits et des légumes

Indicateur : nombre supermarchés qui mettent en avant les fruits et légumes

Outil : grille d’observation des supermarchés de la commune


L’observation: exemple (2)

Eléments à observer Modalités de réponses

Le stand fruit et légumes est situé dans un endroit bien visible

OUI/NON

Le SM offre chaque jour au moins 1 fruit et 1 légume à prix coûtant

OUI/NON

Le supermarché fait la promotion des fruits et légumes (affiches spécifiques)

OUI/NON

Des brochures PNNS sont à disposition OUI/NON


Application

• A partir des tableaux objectifs/critères/ indicateurs, déterminer les outils d’évaluation à élaborer.


Exemple 1

Objectif(s) intermédiaire

Critère(s) Indicateur(s)

Augmenter la pratique d’activité physique chez les séniors de + 65 ans

pratique d’activité physique chez les séniors de + 65 ans

Nombre de séniors déclarant avoir augmenté leur pratique d’activité physique au quotidien

Exemple 1

Objectif(s) intermédiaire

Critère(s) Indicateur(s) Outil

Augmenter la pratique d’activité physique chez les séniors de + 65 ans

pratique d’activité physique chez les séniors de + 65 ans

Nombre de séniors déclarant avoir augmenté leur pratique d’activité physique au quotidien

Questionnaires ou entretiens concernant la pratique d’AP

Exemple 2

Objectif(s) général Critère(s) Indicateur(s)

Améliorer la qualité de vie perçue chez les séniors

qualité de vie perçue chez les séniors

Nombre de séniors déclarant une bonne qualité de vie(avant/après)

Exemple 2: évaluation de résultat

Objectif(s) Critère(s) Indicateur(s) Outil

Améliorer la qualité de vie perçue chez les séniors

qualité de vie perçue chez les séniors

Nombre de séniors déclarant une bonne qualité de vie

questionnaire

Exemple 3

Objectif(s) opérationnel

Critère(s) Indicateur(s)

Mettre en place des séances de Pilates pour une dizaine de séniors une fois par semaine au niveau de la MJC du quartier

Fréquence des séances

Fréquentation des séniors

nb séances par semaine

Nb séniors par séance

Exemple 3 : Evaluation du processus

Objectif Critère (s) indicateurs Outils de suivi

Mettre en place des séances de Pilates pour une dizaine de séniors une fois par semaine au niveau de la MJC du quartier

Fréquence des séances

Fréquentation des séniors

Nb séances par semaine

Nb séniors par séance

Tableau de suivi de l’activité

Listes de présence

Application

• Construire un outil d’évaluation pour son projet
