Journées de la prévention 2013 ATELIER Evaluer des …inpes.santepubliquefrance.fr/jp/cr/pdf/2013/NUGIER_BODARD_0.pdf · ... en plusieurs étapes qui doit conduire à la mise en

Journées de la prévention 2013

ATELIER Evaluer des actions de terrain à l'aide

de la démarche évaluation-action

Angélique Nugier et Julie Bodard

Département Evaluation et Expérimentation Direction des affaires scientifiques

5 juin 2013

Programme

• Présentation de la rubrique du site Internet de

l’Inpes dédiée à l'évaluation des actions en

prévention et promotion de la santé

• Présentation de la démarche «évaluation-action»

• Réflexion collective autour de la question :

Comment intégrer la démarche «évaluation-

action» dans les pratiques professionnelles ?

2

La démarche Evaluation-Action

- Département Evaluation et Expérimentation – Angélique Nugier

[email protected]

Objectif

Proposer une méthode d’évaluation à la fois

rigoureuse et facile d’accès, utile pour le porteur de

projet et éclairante pour l’ensemble des parties

prenantes

Au service de l’évaluation de projets/programmes de

prévention/promotion de la santé

4

5

Méthode de travail

• Analyse des méthodes évaluatives en cours à l’Inpes

Plusieurs formes d’évaluation (pré et post tests, processus, résultats…)

Dégager les forces et faiblesses de chacune des évaluations

• Revue de littérature sur les différentes méthodes d’évaluation

Identifier les meilleures méthodes d’évaluation (benchmarking)

• Travail en lien avec des experts

• Organisation de séminaires méthodologiques

Une démarche intégrative et dynamique

• Intégrative :

– Intégration de méthodes d’évaluation issues de plusieurs disciplines :

• Santé publique : épidémiologie, recherche clinique, prévention,

promotion

• Psychologie

• Économie

• Marketing

– Intégration des méthodes d’évaluation à celle de la méthodologie de projet

• Dynamique :

– Un processus (linéaire) en plusieurs étapes qui doit conduire à la mise en

œuvre d’un projet d’envergure qui atteint ses objectifs

– Un processus (circulaire) où à chaque étape du projet, un type d’évaluation se

met au service de l’action pour l’améliorer

Principes de la démarche Evaluation-Action

• Il n’existe pas 1 mais des évaluations

chaque évaluation a une fonction spécifique et permet de répondre à une question limitée

• L’évaluation n’est pas la dernière étape du projet

la stratégie évaluative est co-construite en amont avec le projet

• Le projet n’est pas séparé de l’évaluation

évaluation et projet font partie du même processus de développement

à chaque étape du projet (de la conception au déploiement en passant par le développement), une forme d’évaluation peut être utile à l’action

chaque évaluation vise à construire et optimiser le projet

• Le type d’évaluation n’est pas déterminé par le type de projet

la démarche évaluative est la même quelque soit le projet (communication, terrain, programme…)

c’est principalement le stade d’avancement du projet (conception, développement, déploiement) qui détermine le type d’évaluation

Présentation schématique de la démarche Evaluation-Action 8

PROJET

Modélisation et

évaluation théorique

Diagnostic, projet

d’action et

planification

Construction des

supports

Etapes du projet

Evaluations

expérimentales

d’efficacité

Etudes prétest

Mise en œuvre du

projet à grande

échelle Etudes posttest

Etudes évaluatives

Expérimentation

(naturelle ou

artificielle) Evaluations

d’implantation

Etudes de la

démarche de projet

Evaluations de résultats

par suivi d’indicateurs

I.Conception

III.Déploiement

II.Développement

Questions évaluatives

Comment l’action est-elle

perçue par les bénéficiaires ?

Les déterminants visés par le

projet ont-ils changé comme

prévu ?

L’action est elle susceptible d’atteindre ses

objectifs au regard des connaissances ?

L’action est-elle efficace ?

L’action prévue a-t-elle effectivement été

réalisée ?

Le projet et ses supports sont ils adaptés aux

publics ciblés ?

Comment la démarche de projet a-t-elle

été réalisée ?

Présentation de la démarche Evaluation-Action simplifiée

Phases du projet Etapes du projet Etudes évaluatives

I-Conception

• Diagnostic : analyse de la

demande et synthèse des

connaissances

• Projet d’action : priorisation,

choix

• Planification : objectifs

• Programmation

• Modélisation et évaluation

théorique

II-Développement

• Construction de supports

• Expérimentation du projet

(petite échelle)

• Etudes prétest

III-Déploiement • Mise en œuvre du projet

(grande échelle)

• Evaluation de l’implantation

• Evaluation de résultats par

suivi d’indicateurs

9

Modélisation et Evaluation théorique



I-Conception



connaissances


choix


• Programmation


théorique

II-Développement



(petite échelle)

• Etudes prétest


(grande échelle)




11

Modélisation : définition

La modélisation est une présentation structurée,

schématique et dynamique du projet et des résultats

attendus ou observés

Il s’agit d’une description des différentes

composantes du projet – environnement, problème

de santé, déterminants de santé impliqués, activités,

effets attendus – ainsi que des liens de causalité entre

ces différentes composantes

12

Modélisation : réalisation

Elaboration à partir :

– des connaissances des différentes parties prenantes de

l’action (porteurs de projet, experts, financeurs…)

– des connaissances scientifiques issues de la littérature

– des données de terrain…

Construction en 2 temps :

– Identifier toutes les composantes du projet

– Expliciter les liens entre toutes les composantes

identifiées

13

Déterminants Problème (s)

Objectifs Objectif(s)

spécifiques général(aux)

Processus d’activités

Ressources

Acteurs

→ Activités

Biens et services

(Autres interventions) Effets

14

C

O

N

T

E

X

T

E

CO

MP

OS

AN

TE

S D

’UN

PR

OJE

T

Modélisation : intérêt

• Organiser les données

• Comprendre les relations de cause à effet

• Mieux comprendre le fonctionnement du projet

• Identifier les questions d’évaluation et les

indicateurs pertinents

• Diffuser / communiquer

• Obtenir un consensus sur la représentation du

projet

• Valoriser le projet

15

Evaluation théorique

• S’effectue à partir de la modélisation du projet

• Est réalisée à l’aide des connaissances

scientifiques, théoriques et contextuelles en lien

avec la problématique de santé traitée et le projet

mise en œuvre

• N’a pas recours a un dispositif d’étude

• S’effectue en 2 temps :

– L’analyse stratégique qui questionne la pertinence du

projet

– L’analyse logique qui questionne la cohérence du

projet

16


• L’analyse stratégique (pertinence) porte sur le

problème et ses déterminants.

– Le problème et la population ciblée sont ils pertinents

? Le problème est il important et prioritaire ?

– Les déterminants et objectifs choisis sont-ils

pertinents ?

– Les partenariats envisagés sont-ils pertinents compte

tenu de l’environnement stratégique, politique et

institutionnel du projet ?

17


• L’analyse logique (cohérence)

– Quelle est la validité du lien établi entre les effets du

programme d’action et les effets sur le problème de

santé ? Quelle est l’articulation entre déterminants et

problème de santé c’est-à-dire entre objectifs

spécifiques et général ?

– Quelle est la validité du lien établi entre le programme

d’action et sa capacité à modifier le(s) déterminant(s)

visé(s) ?

– Quelle est l’adéquation entre les moyens et le

programme d’action ?

18

Déterminants Problème (s)

Objectifs Objectif(s)

spécifiques général(aux)

Processus d’activités

Ressources

Acteurs

→ Activités

Biens et services

(Autres interventions) Effets

19

C

O

N

T

E

X

T

E CO

MP

OS

AN

TE

S D

’UN

PR

OE

JT

EV

ALU

AT

ION

TH

EO

RIQ

UE

Analyse

stratégique

Analyse

logique

Modélisation d’un programme d’action sur le développement des compétences parentales

20

Facteurs individuels

(enfant) :

-Exposition intra-

utérine

-Personnalité anxieuse

-Faible contrôle de soi

-Echec scolaire

-etc.

Facteurs familiaux :

-Consommation de

drogues

-Conflits et violence

-Faible statut socio-éco

-etc

Facteurs environnementaux :

-Accès aux substances

-Quartiers difficiles

-etc

NO

N V

ISE

S

Compétences parentales

faibles :

-Manque de supervision

-Discipline inappropriée

-Manque soutien affectif

-Rejet, manque d’empathie

VIS

ES

Relation parent-enfant

problématique :

-pb d’attachement

-pb de communication

-pb d’interaction

Première

consommation de

cannabis < 12 ans

La consommation

régulière de drogues

illicites chez les

jeunes (12-25 ans)

Les déterminants du problème Le problème à

prévenir

Objectif général

de santé : Diminuer la

consommation régulière

de drogues illicites chez

les 12-25 ans

Objectif

spécifique : Améliorer les

compétences

parentales visées

1-Créer un ouvrage sur les compétences parentales pour

les professionnels puis pour les parents

2-Former les professionnels puis les parents

3-Réaliser une campagne de communication sur les

compétences parentales via le web et la téléphonie

4-Déployer le programme SFP (Strengthening Families

Program)

Programme d’actions

Effets: Amélioration des compétences parentales visées

Etudes prétest



I-Conception



connaissances


choix


• Programmation


théorique

II-Développement



(petite échelle)

• Etudes prétest


(grande échelle)




22

Etudes prétest

• Visent à estimer l’adéquation d’un projet et/ou

d’un support avant sa généralisation tant au niveau

de son contenu que de sa forme

• Permettent de dégager des pistes d’amélioration

• Sont le plus souvent des études qualitatives auprès

d’échantillon(s) représentatif(s) de la (des)

population(s) ciblée(s) à l’aide de réunions de

groupe (focus group) ou d’entretiens individuels

23

Evaluation de l’implantation



I-Conception



connaissances


choix


• Programmation


théorique

II-Développement



(petite échelle)

• Etudes prétest


(grande échelle)

• Evaluation de

l’implantation



25

Evaluation de l’implantation

• Vise à expliciter la mise en œuvre du projet

• Rentre dans la catégorie des évaluations de

processus

• Mesure le degré d’atteinte des objectifs

opérationnels

26

Evaluation de l’implantation : réalisation

1- Décrire ce qui a été réalisé

2- Préciser l’écart entre ce qui a été réalisé et ce qui

avait été planifié

3- Comprendre les écarts entre le planifié et le réalisé

27

Evaluation de l’implantation : exemple

Activité

(Services

et biens)

Modalités Indicateurs Résultats

prévus

(nombres

bruts)

Résultats

observés

(nombres

bruts)

Taux

d’exécution ou

de

participation

Objectif

opérationnel de

référence

Hip Hop

Séances -Nombre total de

séances

-Nombre moyen de

séances par semaine

(par établissement)

-Durée moyenne

d’une séance

De septembre à

juin 2013, mettre

en place une

activité « hip-hop »

durant la pause de

midi, tous les jours

d’école, au sein de

tous les

établissements

scolaires

participants

Bénéficiaires

(les jeunes)

-Nombre moyen de

jeunes par séance

-Nombre de jeunes

ayant participé à au

moins une séance

-Nombre de jeunes

ayant participé à une

séance par semaine

28

Evaluation de résultats par suivi d’indicateurs



I-Conception



connaissances


choix


• Programmation


théorique

II-Développement



(petite échelle)

• Etudes prétest


(grande échelle)


• Evaluation de résultats

par suivi d’indicateurs

30

Evaluation de résultats par suivi d’indicateurs

• Permet d’étudier l’évolution des déterminants de

santé visés et de vérifier qu’un changement s’est

effectivement produit dans le sens attendu

• Ne permet pas de démontrer le lien entre le

changement observé et le projet réalisé

• Mesure le degré d’atteinte des objectifs

spécifiques

31

Evaluation de résultats par suivi d’indicateurs : réalisation

1- Mesurer les déterminants mentionnés dans chaque

objectifs spécifiques à l’aide d’indicateurs

- Simple et acceptable

- Validé et pertinent

- Fiable

- Sensible et spécifique

2- Mesurer la variation des déterminants

– Déterminer les 2 situations comparées (avant-après / ici-

ailleurs)

– Plusieurs temps de mesure (avant, pendant, après)

32

Déterminant

Objectif

spécifique

Modalité Indicateur

Evaluation de résultats par suivi d’indicateurs : exemple (1/2)

33

Objectif spécifique de référence : à la fin du projet, les jeunes de 11 à 15 ans participant au

programme d’actions auront augmenté d’au moins 60 minutes leur temps d’activité

physique de loisirs, par semaine

Déterminant du problème de santé : faible niveau d’activité physique du jeune

Modalité : Temps d’activité physique de loisirs par semaine

Indicateur : Durée en minutes par semaine d’activité physique de loisirs déclarée par le

jeune

Instrument de mesure : Auto-questionnaire

Evaluation de résultats par suivi d’indicateurs : exemple (2/2)

34

Personnes Caractér

istiques

sociodé

mograp

hiques

Colonnes

activités

(biens et

services)

Durée AP par

semaine (min)

Temps 0 (avant le

début du projet)

Durée AP par

semaine (min)

Temps 1

(1 mois après la

fin du projet)

Jeune ayant

augmenté sa

durée d’AP

(OUI/NON)

Evolution (+

nombre de

min/ -

nombre de

minutes)

Taux

d’évolution

Jeune 1 300 360 OUI +60

Jeune 2 220 220 NON 0

Jeune 3 270 250 NON -20

Jeune 4 350 350 NON 0

Jeune 5… 310…. 300… NON -10

Total pour

tous les

jeunes

(=432)

310 325 156 jeunes

(36 %)

+15min 4,8 %

Total pour

les jeunes

les plus

exposés

(=202)

360 420 136 jeunes

(67%)

+60 min 16,6 %

Evolution du temps d’activité physique des jeunes ayant participé au programme d’actions

Merci pour votre attention !

[email protected]

[email protected]

mailto:[email protected]

mailto:[email protected]

Documents

Journées de la prévention 2013 ATELIER Evaluer des …inpes.santepubliquefrance.fr/jp/cr/pdf/2013/NUGIER_BODARD_0.pdf · ... en plusieurs étapes qui doit conduire à la mise en