29/11/05 JPB AEU FMC v1.0

Méthodologie de l’évaluation

Jean-Pierre Boissel

UCBL

Evaluer

• Signification ?

Les points clés• Pourquoi évaluer ?• L’hypothèse et l’objectif • Les facteurs confondants• Les indicateurs• La méthode : une comparaison

– sans biais lorsque l’objectif est la mise en évidence d’une relation causale

– biaisée dans tous les autres cas• La puissance et le nombre d’unités

statistiques à inclure• La randomisation• Le rôle de l’analyse statistique• Le résultat• L’interprétation

Rappel : les deux principes de la méthode expérimentale (Claude

Bernard)• Premier principe: l'expérience destinée

à confirmer une hypothèse de relation causale est une comparaison et pour qu'elle soit interprétable il faut que tous les facteurs confondants, connus ou inconnus, jouent de la même manière sur les deux termes de l'expérience

• Second principe: l'hypothèse doit être formulée avant le début de la collecte des données

Pourquoi évaluer les formations ?

• Pour mesurer leur efficacité vis-à-vis de l’objectif général :– Transférer les connaissances– Modifier les pratiques dans le sens de :

• Des soins plus proches du référentiel• De meilleurs chances pour les patients• Des professionnels plus heureux• …/…

• Comme toute mesure, celle-ci doit être juste et sans biais

• S’ajoute à cette exigence un impératif éthique propre au champ de l’objectif

• Que doit-on évaluer ?

Une hypothèse, un objectif, des indicateurs

• Hypothèse– La formation selon telle modalité X transfert

des connaissances utiles pour la pratique• Objectif

– Montrer que la formation que nous allons réaliser selon la modalité X va modifier les pratiques telles qu’on peut les apprécier (évaluer – oh ambiguïté !) grâce aux indicateurs I

– Retour sur la question : que doit-on évaluer ?• Les indicateurs

– Sont-ils pertinents vis-à-vis de• L’hypothèse• L’objectif

Indicateurs• Directs ou « cliniques »

– Meilleurs soins donc meilleurs pronostics (quantité et qualité de vie)

• Indirects ou « intermédiaires » :– Modification des prescriptions

• Explicatifs– Changement des connaissances– Modification des attitudes

… et une bonne méthodologie

• Sans bonne méthodologie les résultats (= la quantité d’évolution des indicateurs causée par la formation) seront ininterprétables

• Bonne méthodologie =– Cohérente avec l’objectif– Éliminant les facteurs confondants– Tenant compte de l’aléas– Conduisant à un résultat transposable

(cad généralisable)

Évolution des indicateurs avant-après

Recueil des indicateurs AVANT

Recueil des indicateurs APRES

Formation

Effet de la formation = différence avant-après ?

comparaison

Comparaison avant-après

évolution spontanée des pratiques

effet « placebo » de la formation

régression à la moyenne (à partir des besoins ressentis)autres facteurs confondants (les autres sources de transfert)FORMATION

état initial

état final

A quoi est due la différence entre l’état final et l’état initial ?

Régression à la moyenne (1)

Régression à la moyenne (2)

• baisse observée: données du graphique précédent

• baisse théorique: calculs fondés sur une loi normale (Gauss)

sous-groupe baisseobservée

baissethéorique

A 17 % 15,3 %B 12 % 13,6 %C 8 % 12,6 %

Effet placebo

-80-70

-60-50

-40-30

-20-10

0pré-traitement 6 semaines 6 mois

nombre moyen de crises

10,3

-48%

-77%

p<0,0001

p<0,0001

%

Evolution spontanée (1)

évolution du cholestérol total sérique

0

1

2

3

4

5

6

7

0 4 8 12 16 20 24 28 32 36 40 44mois

CT

(g/l

)

Observance au placebo et mortalité

Observance Décès (%) RR

Beta Blocker Heart Attack TrialObservance < 75% 19,0Observance > 75% 6,8 0,36

Coronary Drug ProjectObservance < 75% 25,8Observance > 75% 16,4 0,64

(Petiti, 1994)

évolution au cours du temps de l'incidence annuelle des événements

thromboemboliques

• Le graphique représente les incidences annuelles des accidents thrombo-emboliques dans les groupes contrôles traités par un anticoagulant oral des essais randomisés d’antiagrégants plaquettaires chez les porteurs de valves cardiaques artificielles

0 2 4 6 8 10 12 14

19711976197719771978198019821985

Evolution spontanée (4)

%

Comparaison avant-après

évolution spontanée des pratiques

effet « placebo » de la formation

régression à la moyenne (à partir des besoins ressentis)autres facteurs confondants (les autres sources de transfert)FORMATION

état initial

état final

A quoi est due la différence entre l’état final et l’état initial ?

Annuler les effets des facteurs confondants

Facte

urs

con

fon

dan

ts

état initial

état final

contrôle testX

Yc Yt

effet de l’intervention = (X-Yc) - (X-Yt) = Yt-Yc

FORMATION

Évolution des indicateurs avant-aprèsFormation

Contrôle

comparaison

Randomisation ou allocation aléatoire

2 traitements, A et B

permutations de n = 6

permutations traitements patients n°1 A 1

5 A 22 B 34 B 43 A 56 B 6

3 A 72 B 84 B 96 B 101 A 115 A 12

A 1, 3, 5B 2, 4, 6

att

rib

uer

Nombre d’unités statistiques...

• En général : une US = un médecin• Doit être calculé au préalable pour

assurer une puissance suffisante à l’essai

• Il dépend :– Du risque de faux positif que l’on accepte de

prendre (rejet à tort de l’hypothèse nulle H0)– De la puissance (complément à 1 du risque de

passer à côté de l’effet)– De l’intensité prévisible de l’effet (renvoie au

modèle et à l’hypothèse que l’essai doit tester)– De l’effet grappe

Effet “grappe”• Un groupe de médecin

– En formation– Une association de FMC– Un cabinet

• La clientèle d’un médecin• Constitue des réunions d’intérêts

communs• La variabilité de leurs réponses n’est pas

la même que si ils étaient complétement indépendants les uns des autres

• Il faut en tenir compte :– Dans le calcul du nombre d’US– Dans l’analyse statistique

Analyse statistique• Prendre en compte les fluctuations

d ’échantillon:– Évolution du contrôle = effets des facteurs

confondants + aléas– Évolution sous traitement = effet du traitement

+ effets des facteurs confondants + aléas– Évolution du contrôle - évolution sous

traitement = effet du traitement + aléas

• Le « p » exprime les chances que le résultat ne soit du qu’au hasard

• Hypothèse nulle H0 et hypothèse alternative...

Le problème• La bonne méthodologie :

– Deux groupes– Dont un contrôle– Randomisation

• Comment constituer le groupe contrôle ?– Les médecins– La “formation”

• À ces difficultés s’ajoutent :– La question du nombre d’unités statistiques– Celle de l’effet groupe– La lourdeur de cette approche (coût, énergie,

durée)• Impossible pour “une” formation• À réserver à l’évaluation des modalités et

techniques de formation

Alors que faire pour “une” formation ?

• Adapter la méthode aux possibilités et donc changer la question :– Constate-t-on une “amélioration” des

pratiques suite à la formation ?– On ne documente pas la relation causale– L’enjeu :

• En l’absence d’amélioration, on cherche à savoir pourquoi le résultat est contraire à l’attente

• En présence d’une amélioration on ne conclut pas que la formation a conduit à une amélioration des pratiques

• On cherche aussi à savoir si les besoins pour la satisfaction desquels la formation a été construite sont satisfaits

Interprétation

• En quoi ce résultat doit modifier la prochaine formation ?

• Cette réflexion doit faire l’objet d’un compte-rendu

Points clés

• Distinguer l’évaluation « causale » des évaluations « descriptive », « formative », « normative »,…

• La première impose la prise en compte des principes de la méthode expérimentale

• Toute évaluation se conçoit par rapport à une référence (appelée aussi « contrôle »)

• Et nécessite un ou des indicateur(s)• Dont la première (mais pas la seule) propriété

est la pertinence