Evaluation des actions de prévention Aspects théoriques Exemple à propos des « parcours pédagogiques alcool » Sandrine Antoine, Guy Launoy Flers, le 29

Evaluation des actions de préventionEvaluation des actions de préventionAspects théoriques Aspects théoriques

Exemple à propos des « parcours Exemple à propos des « parcours pédagogiques alcool »pédagogiques alcool »

Sandrine Antoine, Guy Launoy

Flers, le 29 mars 2007

Cancers & PopulationsERI3 INSERM

Evaluation des actions de préventionEvaluation des actions de prévention

L’évaluation, c’est rapprocher (comparer) les éléments reflétant le processus ou les résultats observés d’une action des éléments attendus ou espérés.

Ses résultats servant à l’orientation de la suite du projet, sa poursuite, son arrêt ou sa modification, l’évaluation doit faire appel à une méthodologie et des indicateurs dont la validité et la pertinence doivent être reconnus par tous .


Objectifs de l’évaluation – Attentes des acteursObjectifs de l’évaluation – Attentes des acteurs L’évaluation objective = un mythe ? L’acteur peut vouloir prendre du recul, mais aussi

promouvoir son action Le payeur peut dans un contexte d’allocation de

ressources vouloir connaître ou comparer la rentabilité de diverses actions, mais aussi démontrer l’inutilité d’un service qu’il veut fermer

Le chercheur voudra confirmer son hypothèse de départ. Le choix des méthodes et des indicateurs dépendra des

attentes.

L’évaluation, ses méthodes et ses indicateurs devraient en théorie être décidées au début de l’action


Places de l’évaluation dans le déroulé Places de l’évaluation dans le déroulé théorique d’une action de préventionthéorique d’une action de prévention

0 - Identification du problème de santé. Sélection des actions susceptibles de le prévenir.

1 - Etude de la faisabilité de l’intervention

2 - Démonstration de l’efficacité théorique dans des conditions optimales d’efficacité

3 - Démonstration et quantification des effets de l’intervention dans des conditions réelles d’application

4 - Evaluation de l’impact médical, social, économique. Recherche de l’optimisation

5 - Evaluation après généralisation : évaluation des procédures – contrôle de qualité

6 - Le cas échéant, comparaison de méthodes alternatives plus efficaces ou plus rentable (coût-efficacité).


L’évaluation des résultats porte toujours sur la comparaison de 2 (ou plusieurs) groupes d’individus, l’un qui bénéficie de l’intervention et l’autre qui n’en bénéficie pas (ou différemment).

Si la comparaison montre une différence dont la significativité sera jugée à l’aune des lois statistiques, on essaie alors de savoir si cette différence est entièrement expliquée par l’intervention ou non (recherche des biais).

La conclusion de « causalité » sera d’autant plus difficile que la méthode retenue se sera éloigné d’un plan expérimental.

Evaluation des actions de prévention – MéthodesEvaluation des actions de prévention – MéthodesPrincipes générauxPrincipes généraux


Places de l’évaluation dans le déroulé Places de l’évaluation dans le déroulé théorique d’une action de préventionthéorique d’une action de prévention

0 - Identification du problème de santé. Sélection des actions susceptibles de le prévenir.

1 - Etude de la faisabilité de l’intervention

2 - Démonstration de l’efficacité théorique dans des conditions optimales d’efficacité

3 - Démonstration et quantification des effets de l’intervention dans des conditions réelles d’application

4 - Evaluation de l’impact médical, social, économique. Recherche de l’optimisation

5 - Evaluation après généralisation : évaluation des procédures – contrôle de qualité

6 - Le cas échéant, comparaison de méthodes alternatives plus efficaces ou plus rentable (coût-efficacité). Cancers & Populations

ERI3 INSERM

Démonstration efficacité théorique action de Démonstration efficacité théorique action de préventionprévention

L’essai contrôlé randomiséL’essai contrôlé randomisé

Comparaison sur un critère Comparaison sur un critère de jugement uniquede jugement unique

+ + + + ++ + + + +

+ + + + + ++ + + + + +

TempsTemps

Action AAction A

Randomisation Randomisation individuelle ou collectiveindividuelle ou collective

Population APopulation A

Population BPopulation B Aucune action ou action B


Démonstration efficacité théorique action de Démonstration efficacité théorique action de préventionprévention

Limites de l’essai contrôlé randomiséLimites de l’essai contrôlé randomisé

- Critère de jugement unique

- Conditions de réalisation « expérimentales », éloignées de la réalité

- Temps de réalisation long.


Méthodes d’évaluation non Méthodes d’évaluation non expérimentales : Enquêtes d’observationexpérimentales : Enquêtes d’observation

:Etudes prospectives Etude Avant/Après. Etude Içi/Ailleurs Etude Avant/Après - Içi/Ailleurs

Etudes rétrospectives Etudes Cas-Témoin Cohorte reconstituée

Enquête permanente, utilisation de données existantes

Les groupes n’étant pas comparables, on aura beaucoup plus de mal à attribuer de manière certaine une différence observée à l’action de prévention


SW Duffy, C. Duffy, J. Estève Quantitave methods for the evaluation for cancer SW Duffy, C. Duffy, J. Estève Quantitave methods for the evaluation for cancer screening. In: SW Duffy, C. Hill, J. Estève, eds. Arnold Oxford University. 2001.screening. In: SW Duffy, C. Hill, J. Estève, eds. Arnold Oxford University. 2001.

Evolution de l’incidence du cancer du col Evolution de l’incidence du cancer du col dans les pays nord-européens - 1940-1980dans les pays nord-européens - 1940-1980


Étude prospectiveÉtude prospective

Rechute

Abstinent

Rechute

Abstinent

Population de Population de patientspatients

Rythme des Rythme des consultations < consultations <

1/mois1/mois

Rythme des Rythme des consultations > consultations >

1/mois1/mois

RR = 2,5



:Etudes prospectives Etude Avant/Après. Etude Içi/Ailleurs Etude Avant/Après - Içi/Ailleurs

Etudes rétrospectives Etudes Cas-Témoin Cohorte reconstituée

Enquête permanente, utilisation de données existantes

Les groupes n’étant pas comparables, on aura beaucoup plus de mal à attribuer de manière certaine une différence observée à l’action de prévention


L’étude cas-témoinsL’étude cas-témoins

60% de p.e.c. A parmi les « succès » contre 30% seulement parmi les « échecs »60% de p.e.c. A parmi les « succès » contre 30% seulement parmi les « échecs »

6699

441111

Mesure du risque relatifMesure du risque relatif = 1.83= 1.83

Arrêt Arrêt addictionaddiction

N = 10N = 10

Poursuite Poursuite addiction addiction

N = 10N = 10

Prise en charge A

N = 6

Prise en charge B

N = 4

Prise en charge A

N = 3

Prise en charge B

N=7


Intérêts : Réponse rapide (surtout cas/témoin) Etude dans la « vraie vie ». Mesure l’acceptabilité ou la pénétration d’une stratégie

Les biais De sélection (volontariat, indication) D’évolution spontanée (avant/après) De confusion



Facteurs de confusionFacteurs de confusion

PECcontraignante Succès

Sexe++

+0


Evaluation des actions de prévention.Evaluation des actions de prévention.Le choix des indicateursLe choix des indicateurs

-Indicateurs de résultats = critère de jugement



EX intervention visant à diminuer les accidents domestiques par campagne d’information :Critères de jugement ? :- Amélioration du niveau de connaissance - Modifications du comportement- Modifications état de santé

- Indicateurs de résultats (# impact) = critère de jugement :- Critère mesurable, défini au début de l’étude, consensuel, pour lequel on attend une différence significative.




- Indicateurs d’application de l’intervention



- Indicateurs d’application de l’intervention :

- Acceptabilité d’une technique

- Compliance à un programme

- Couverture




- Indicateurs d’application de l’intervention

- Indicateur de niveau de risque

- Facteurs de confusion

- Indicateurs du processus : tableau de bordCancers & PopulationsERI3 INSERM

- - Baisse de la mortalité Baisse de la mortalité spécifique spécifique - Baisse de la morbidité - Baisse de la morbidité spécifique spécifique

- Impact psychologique ?- Impact psychologique ?- Impact psychologique ?- Impact psychologique ?- Impact social ?- Impact social ?- Coût de l’action ?- Coût de l’action ?

Evaluation des actions de prévention.Evaluation des actions de prévention.Evaluation de l’impact. Le rapport bénéfice/risqueEvaluation de l’impact. Le rapport bénéfice/risque


La balance risque/bénéficeLa balance risque/bénéficedépistage du cancer du seindépistage du cancer du sein

1000 femmes âgées de1000 femmes âgées de50 ans se soumettent à une 50 ans se soumettent à une

mammographie tous les mammographie tous les deux ans pendant 10 ansdeux ans pendant 10 ans

29 cancers dépistés (sur 32) incidents29 cancers dépistés (sur 32) incidents

4 décès évités (sur 12 prévisibles)4 décès évités (sur 12 prévisibles)

150 femmes subiront des 150 femmes subiront des examens complémentaires examens complémentaires inutiles (dont 40 avec biopsie inutiles (dont 40 avec biopsie chirurgicalechirurgicale

25 ont juste une avance au 25 ont juste une avance au diagnostic ( env. 3 ans) sans diagnostic ( env. 3 ans) sans modification de leur date de modification de leur date de décèsdécès

3 femmes seront faussement rassurées3 femmes seront faussement rassurées

P. Schaffer 1997P. Schaffer 1997Cancers & PopulationsERI3 INSERM

Documents

Evaluation des actions de prévention Aspects théoriques Exemple à propos des « parcours pédagogiques alcool » Sandrine Antoine, Guy Launoy Flers, le 29