View
108
Download
0
Category
Preview:
Citation preview
29/11/05 JPB AEU FMC v1.0
Méthodologie de l’évaluation
Jean-Pierre Boissel
UCBL
Evaluer
• Signification ?
Les points clés• Pourquoi évaluer ?• L’hypothèse et l’objectif • Les facteurs confondants• Les indicateurs• La méthode : une comparaison
– sans biais lorsque l’objectif est la mise en évidence d’une relation causale
– biaisée dans tous les autres cas• La puissance et le nombre d’unités
statistiques à inclure• La randomisation• Le rôle de l’analyse statistique• Le résultat• L’interprétation
Rappel : les deux principes de la méthode expérimentale (Claude
Bernard)• Premier principe: l'expérience destinée
à confirmer une hypothèse de relation causale est une comparaison et pour qu'elle soit interprétable il faut que tous les facteurs confondants, connus ou inconnus, jouent de la même manière sur les deux termes de l'expérience
• Second principe: l'hypothèse doit être formulée avant le début de la collecte des données
Pourquoi évaluer les formations ?
• Pour mesurer leur efficacité vis-à-vis de l’objectif général :– Transférer les connaissances– Modifier les pratiques dans le sens de :
• Des soins plus proches du référentiel• De meilleurs chances pour les patients• Des professionnels plus heureux• …/…
• Comme toute mesure, celle-ci doit être juste et sans biais
• S’ajoute à cette exigence un impératif éthique propre au champ de l’objectif
• Que doit-on évaluer ?
Une hypothèse, un objectif, des indicateurs
• Hypothèse– La formation selon telle modalité X transfert
des connaissances utiles pour la pratique• Objectif
– Montrer que la formation que nous allons réaliser selon la modalité X va modifier les pratiques telles qu’on peut les apprécier (évaluer – oh ambiguïté !) grâce aux indicateurs I
– Retour sur la question : que doit-on évaluer ?• Les indicateurs
– Sont-ils pertinents vis-à-vis de• L’hypothèse• L’objectif
Indicateurs• Directs ou « cliniques »
– Meilleurs soins donc meilleurs pronostics (quantité et qualité de vie)
• Indirects ou « intermédiaires » :– Modification des prescriptions
• Explicatifs– Changement des connaissances– Modification des attitudes
… et une bonne méthodologie
• Sans bonne méthodologie les résultats (= la quantité d’évolution des indicateurs causée par la formation) seront ininterprétables
• Bonne méthodologie =– Cohérente avec l’objectif– Éliminant les facteurs confondants– Tenant compte de l’aléas– Conduisant à un résultat transposable
(cad généralisable)
Évolution des indicateurs avant-après
Recueil des indicateurs AVANT
Recueil des indicateurs APRES
Formation
Effet de la formation = différence avant-après ?
comparaison
Comparaison avant-après
évolution spontanée des pratiques
effet « placebo » de la formation
régression à la moyenne (à partir des besoins ressentis)autres facteurs confondants (les autres sources de transfert)FORMATION
état initial
état final
A quoi est due la différence entre l’état final et l’état initial ?
Régression à la moyenne (1)
Régression à la moyenne (2)
• baisse observée: données du graphique précédent
• baisse théorique: calculs fondés sur une loi normale (Gauss)
sous-groupe baisseobservée
baissethéorique
A 17 % 15,3 %B 12 % 13,6 %C 8 % 12,6 %
Effet placebo
-80-70
-60-50
-40-30
-20-10
0pré-traitement 6 semaines 6 mois
nombre moyen de crises
10,3
-48%
-77%
p<0,0001
p<0,0001
%
Evolution spontanée (1)
évolution du cholestérol total sérique
0
1
2
3
4
5
6
7
0 4 8 12 16 20 24 28 32 36 40 44mois
CT
(g/l
)
Observance au placebo et mortalité
Observance Décès (%) RR
Beta Blocker Heart Attack TrialObservance < 75% 19,0Observance > 75% 6,8 0,36
Coronary Drug ProjectObservance < 75% 25,8Observance > 75% 16,4 0,64
(Petiti, 1994)
évolution au cours du temps de l'incidence annuelle des événements
thromboemboliques
• Le graphique représente les incidences annuelles des accidents thrombo-emboliques dans les groupes contrôles traités par un anticoagulant oral des essais randomisés d’antiagrégants plaquettaires chez les porteurs de valves cardiaques artificielles
0 2 4 6 8 10 12 14
19711976197719771978198019821985
Evolution spontanée (4)
%
Comparaison avant-après
évolution spontanée des pratiques
effet « placebo » de la formation
régression à la moyenne (à partir des besoins ressentis)autres facteurs confondants (les autres sources de transfert)FORMATION
état initial
état final
A quoi est due la différence entre l’état final et l’état initial ?
Annuler les effets des facteurs confondants
Facte
urs
con
fon
dan
ts
état initial
état final
contrôle testX
Yc Yt
effet de l’intervention = (X-Yc) - (X-Yt) = Yt-Yc
FORMATION
Évolution des indicateurs avant-aprèsFormation
Contrôle
comparaison
Randomisation ou allocation aléatoire
2 traitements, A et B
permutations de n = 6
permutations traitements patients n°1 A 1
5 A 22 B 34 B 43 A 56 B 6
3 A 72 B 84 B 96 B 101 A 115 A 12
A 1, 3, 5B 2, 4, 6
att
rib
uer
Nombre d’unités statistiques...
• En général : une US = un médecin• Doit être calculé au préalable pour
assurer une puissance suffisante à l’essai
• Il dépend :– Du risque de faux positif que l’on accepte de
prendre (rejet à tort de l’hypothèse nulle H0)– De la puissance (complément à 1 du risque de
passer à côté de l’effet)– De l’intensité prévisible de l’effet (renvoie au
modèle et à l’hypothèse que l’essai doit tester)– De l’effet grappe
Effet “grappe”• Un groupe de médecin
– En formation– Une association de FMC– Un cabinet
• La clientèle d’un médecin• Constitue des réunions d’intérêts
communs• La variabilité de leurs réponses n’est pas
la même que si ils étaient complétement indépendants les uns des autres
• Il faut en tenir compte :– Dans le calcul du nombre d’US– Dans l’analyse statistique
Analyse statistique• Prendre en compte les fluctuations
d ’échantillon:– Évolution du contrôle = effets des facteurs
confondants + aléas– Évolution sous traitement = effet du traitement
+ effets des facteurs confondants + aléas– Évolution du contrôle - évolution sous
traitement = effet du traitement + aléas
• Le « p » exprime les chances que le résultat ne soit du qu’au hasard
• Hypothèse nulle H0 et hypothèse alternative...
Le problème• La bonne méthodologie :
– Deux groupes– Dont un contrôle– Randomisation
• Comment constituer le groupe contrôle ?– Les médecins– La “formation”
• À ces difficultés s’ajoutent :– La question du nombre d’unités statistiques– Celle de l’effet groupe– La lourdeur de cette approche (coût, énergie,
durée)• Impossible pour “une” formation• À réserver à l’évaluation des modalités et
techniques de formation
Alors que faire pour “une” formation ?
• Adapter la méthode aux possibilités et donc changer la question :– Constate-t-on une “amélioration” des
pratiques suite à la formation ?– On ne documente pas la relation causale– L’enjeu :
• En l’absence d’amélioration, on cherche à savoir pourquoi le résultat est contraire à l’attente
• En présence d’une amélioration on ne conclut pas que la formation a conduit à une amélioration des pratiques
• On cherche aussi à savoir si les besoins pour la satisfaction desquels la formation a été construite sont satisfaits
Interprétation
• En quoi ce résultat doit modifier la prochaine formation ?
• Cette réflexion doit faire l’objet d’un compte-rendu
Points clés
• Distinguer l’évaluation « causale » des évaluations « descriptive », « formative », « normative »,…
• La première impose la prise en compte des principes de la méthode expérimentale
• Toute évaluation se conçoit par rapport à une référence (appelée aussi « contrôle »)
• Et nécessite un ou des indicateur(s)• Dont la première (mais pas la seule) propriété
est la pertinence
Recommended