Webinaire: Les évaluations de l’évaluabilité en santé publique

Follow us @nccmt Suivez-nous @ccnmo

Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMasterLe développement de cette présentation a été rendue possible grâce à une contribution financière de l'Agence de la santé publique du

Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.

Les évaluations de l’évaluabilité en santé publique

Conférencièrs :

Laura C. Leviton, PhD

Laura Kettel Khan, PhD

17 novembre 2017, 13 h-14 h 30 HE

Follow us @nccmt Suivez-nous @ccnmo2

Utilisez Chat pour partager vos questions

et commentaires pendant le webinaire.

• « Envoyez » les questions à tous (et

non en privé à l’animatrice)

Problèmes de connexion

• Connexion à Internet filée (et non

sans fil) recommandée

• Ligne d’aide WebEx offerte

24 heures sur 24, sept jours sur sept

• 1-866-229-3239

Gestion internePanneau latéral du

participant dans

WebEx

Chat


Après aujourd’hui

La présentation PowerPoint (en anglais et en

français) et l’enregistrement audio en anglais

seront offerts.

Ces ressources pourront être consultées à :

http://www.nccmt.ca/fr/perfectionnement-professionnel/webinaires-precedents

http://www.nccmt.ca/fr/perfectionnement-professionnel/webinaires-precedents


1re question de sondage

Combien de personnes regardent la

séance d’aujourd’hui avec vous?

A. Il n’y a que moi

B. De 1 à 3

C. De 4 à 5

D. De 6 à 10

E. Plus de 10


Your profession? Put a √ on your answer (or RSVP via email)

/

5

Epidemiologist Management (director,

supervisor, etc.)

Allied health

professionals (nurse,

dietician, dental

hygenist, etc.)

Librarian Physician / Dentist Other

6

Follow us @nccmt Suivez-nous @ccnmo 76

Épisode 35

Les évaluations de l’évaluabilité en santé

publiquehttp://www.nccmt.ca/fr/referentiels-de-connaissances/interrogez-le-registre/290

http://www.nccmt.ca/fr/ressources/phac-mapping

CCN des

maladies

infectieusesWinnipeg, MB CCN des

méthodes

et outilsHamilton, ON

CCN sur les

politiques

publiques et

la santéMontréal, QC

CCN des

déterminants

de la santéAntigonish, NS

CCN de la

santé

autochtonePrince George, BC

CCN en santé

environnemen

taleVancouver, BC

7

http://www.nccid.ca/en/home

http://www.nccid.ca/en/home

http://www.nccmt.ca/

http://www.nccmt.ca/

http://www.healthypublicpolicy.ca/2/Home.htm

http://www.healthypublicpolicy.ca/2/Home.htm

http://www.nccdh.ca/

http://www.nccdh.ca/

http://www.nccah-ccnsa.ca/

http://www.nccah-ccnsa.ca/

http://www.ncceh.ca/

http://www.ncceh.ca/

Registre des méthodes

et des outils

Possibilités

d’apprentissage

en ligne

AteliersMultimédia

Public Health+

Réseautage et

relations

externes

Produits et services du CCNMO

8


2e question de sondage

Dans quelle mesure connaissez-vous la

méthode ou l'outil dont nous discutons aujourd'hui?

A. Je ne connais pas la méthode ou l'outil

B. J'ai entendu parler de la méthode ou

l'outil

C. Je utilisé la méthode ou l'outil


Conférencièrs

Dr. Laura C. Leviton, PhD

Conseillère principale pour l’évaluation

Fondation Robert Wood Johnson

États-Unis

■ Évaluation sommative :

o Concevoir et utiliser l’évaluation pour juger la valeur

■ Évaluation formative :

o Concevoir et utiliser l’évaluation pour améliorer l’intervention

■ Évaluation de l’évaluabilité : déterminer...

o si l’intervention est prête à générer des résultats

o quels changements doivent être faits pour cela

o si l’évaluation contribuerait à améliorer la performance

Définitions


Ressources

• Wholey, Hatry et Newcomer, Handbook of Practical Program

Evaluation, Wiley 2010

• Leviton et al., Evaluability assessment to improve public

health. Dans Annual Review of Public Health, volume 31 : 213-

234.

• Leviton, Kettel Khan et Dawkins, New Directions in Evaluation,

no 125, janvier 2010 -- le chapitre 3 contient des modèles et

des procédures


Les évaluations nous sont souvent données.

« Voilà, évaluez ceci. »


Certaines des interventions ne sont tout simplement pas

très bonnes.

« Voilà, évaluez ceci. »


Pourquoi?

• Environ 95 % des interventions ne sont pas complètement

au point au moment d’être évaluées.

• Aussi, des problèmes perdurent en ce qui concerne la

mesure, la conception et l’analyse.

• Wilson et Lipsey, 2001, examen de 319 méta-analyses :

• Proportion de la valeur de l’effet associée à des aspects de l’étude

• La variance expliquée :

Méthodes de l’étude = aspects de l’intervention

Plus grandes sources : devis de recherche, opérationnalisation de la variable

dépendante, erreur d’échantillonnage


Ne vous précipitez pas vers l’évaluation

sommative

• Ce n’est tout simplement pas rentable.

• Les bonnes études sur les résultats sont

**l’aboutissement** d’un travail prudent.

• Commencez par une évaluation formative, ou mieux

encore,

• Par une évaluation de l’évaluabilité.


Étapes d’une évaluation de

l’évaluabilité

1. Impliquez les utilisateurs cibles de l’information qui sera tirée

de l’évaluation.

2. Clarifiez l’intervention prévue.

3. Explorez la réalité de l’intervention.

4. Entendez-vous sur les changements qu’il faut apporter aux

activités ou aux objectifs.

5. Explorez d’autres modèles d’évaluation.

6. Entendez-vous sur les priorités de l’évaluation et sur les

utilisations prévues de cette information.


C’est cyclique,

pas linéaire

Involve end users of

evaluation

Determine scope of project

Review program

documents

Consult stakeholders

Agree-ment on goals?

no

no Create / revise logic model or

theory of change

Agree-ment on model?

yes

Feedback to program manager or policy maker

Interview staff; “scout” the

program reality

yes

Report on assessment of: Plausibility Areas for program development Evaluation feasibility Options for further evaluation Critique of data (quality,

availability)

Develop Program

Stop


Premières étapes

Involve end users of

evaluation

Determine scope of project

Review program

documents



no


Stop


Étapes intermédiaires

Review program

documents



no


theory of change


yes


Develop Program

Stop


Modèles logiques

Intrants Extrants Résultats (impact)

Ressources

&

personnel

Activités,

sensibilisation

du groupe cible

Produits,

participation

du groupe cible

Atteindre les

objectifs à

court terme

Atteindre les

objectifs

intermédiaires

Atteindre les

objectifs à long

terme


Théorie du changement

Objectifs Stratégies Groupe cible Énoncés

si-ensuite

Résultats à

court terme

Résultats à

long terme

Énoncés Comment

l’objectif sera-

t-il atteint?

Définir le

groupe

Si (activité)

ensuite

résultat

Mesure La stratégie a-

t-elle été

appliquée?

Les

participants

étaient-ils

dans le

groupe cible?

L’activité a-t-

elle mené au

résultat?

L’objectif à

court terme a-

t-il été atteint?

L’objectif à

long terme a-

t-il été atteint?

Sources des

données

P. ex. archives

du

programme

P. ex.

sondage

auprès du

groupe


Étapes subséquentes


theory of change


Interview staff; “scout” the

program reality

yes

Report on assessment of: Plausibility Areas for program development Evaluation feasibility Options for further evaluation Critique of data (quality,

availability)


Et maintenant?

• Conception de l’intervention

• Collecte de données pour éclairer les améliorations

• Quand faire des études sommatives (sur les résultats) :

• Le modèle logique ou la théorie du changement sont précisés et

acceptés

• Le modèle ressemble à la réalité, et vice versa

• L’atteinte du ou des résultats est plausible

• L’évaluation formative indique que des mesures intermédiaires sont

prises.


Conférencièrs

25

Dr. Laura Kettel Khan, PhD

Scientifique principale et conseillère

Centres pour le contrôle et la

prévention des maladies

États-Unis


Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMasterLa production de cette présentation a été rendue possible grâce à une contribution financière de l’Agence de la santé publique du


Sélection et évaluation systématiques

(SÉS) : le passé et le présent

Des exemples du terrain


Survol

•4 exemples tirés du terrain

• Prévention de l’obésité dans la communauté — services de

garde de la ville de New York

• Alimentation saine et vie active

• Contrôle de l’hypertension

• Traumatisme crânien

•Boucler la boucle avec la SÉS

• Déclin de l’obésité juvénile

•Bénéfices pour la santé publique

27


Prévention de l’obésité : politiques des

services de garde de NY

Réunir un panel d’experts pour identifier et examiner des programmes et des politiques

potentiels

Évaluer l’état de préparation à l’évaluation des programmes et des politiques

Synthétiser les résultats et faire connaître les pratiques prometteuses sur le terrain

Développer un réseau de professionnels ayant les compétences pour réaliser des

évaluations de l’évaluabilité

Informer les bailleurs de fonds des programmes et des politiques prêts à être évalués

28


Sélection et évaluation systématiques

29

Intrants Étapes Produits

Lignes

directrices

1. CHOISIR des priorités

2. RÉPERTORIER les interventions

dans l’environnement

3. EXAMINER ET IDENTIFIER

LES INTERVENTIONS méritant

une évaluation de l’évaluabilité

4. ÉVALUATIONS DE

L’ÉVALUABILITÉ des

interventions prioritaires

5. LES EXAMINER ET LES NOTER en

ce qui concerne leur caractère prometteur et

leur capacité à être évaluées

6. UTILISER l’information

7. SYNTHÉTISER ce qu’on sait

Accent

Courtes

descriptions

Commentaires constructifs

Plan d’une évaluation

rigoureuse

Liste des

interventions

Sélections, répertoires

existants, descriptions

Communiquer avec toutes

les parties prenantes

Panel de réviseurs experts

Compte rendu des problèmes liés à

l’intervention et à l’évaluation

Notes et rapports

Liste des interventions

Courtes descriptionsSélections, répertoires

existants, descriptions


Réseau de

professionnels/chercheurs

Communiquer avec toutes

les parties prenantes



Sélection systématique

•Critères utilisés par le panel d’experts pour la sélection :

– Impact potentiel

– Caractère novateur

– Portée

– Acceptabilité pour les parties prenantes

– Faisabilité de la mise en œuvre

– Faisabilité de l’adoption

– Viabilité

– Généralisabilité/transférabilité

– Capacité du personnel et de l’organisation à faire l’évaluation

30


Résultats de la sélection et de

l’évaluation systématiques

Propositions

Répondaient

aux critères

d’inclusion

Choisis pour

une ÉÉ

Parascolaire/Services de

garde167 61 23

Accès à la nourriture 84 34 18

Politiques locales de

bien-être de la

commission scolaire

146 58 6

Activité physique globale 39 7 2

Environnement bâti pour

l’activité physique 22 14 4

TOTAL 458 174 53

31


Évaluation de l’évaluabilité

Examen des documents• Ébauche de modèle logique

Visite de 2-3 jours sur le site• Entrevues : description du programme, modèle logique,

personnel, financement, viabilité, activités d’évaluation• Observations• Soutien technique/séance-bilan

Rapports et recommandations

Suivi en matière de soutien technique avec des experts des CDC

32


État de préparation pour l’évaluation

•L’examen des rapports des visites sur les sites a fait ressortir des classifications :

1. Prête pour une évaluation des résultats autonome

2. Convient à une évaluation conjointe

3. Solide sur le plan théorique, mais a besoin d’être plus développée

4. Besoin d’assistance technique sur des éléments précis

33


De grandes retombées : évaluation de la politique

des services de garde de la ville de NY

Les règles des services de garde de la ville de NY concernant la nutrition, l’activité physique et le temps passé devant un écran Évaluation positive de la mise en œuvre et du

résultat

Grand échantillon de centres dans des quartiers urbains à faible revenu

Résultat vérifié grâce à l’observation directe et à l’accélérométrie

Étude de référence pour des recommandations nationales sur les politiques et les pratiques des centres

34


CDC : alimentation saine et vie active

Identifier des politiques et des stratégies novatrices

liées à l’usage commun et ouvert des biens publics

Écoles, piscines, parcs

Possibilité d’identifier des pratiques prometteuses

pouvant être mises en œuvre à l’échelle étatique et

locale

Axée sur les interventions visant des communautés

ayant moins de ressources

Fiches d’information sur des politiques et des

stratégies réussies

35


CDC : contrôle de l’hypertension

7 projets de contrôle de l’hypertension ayant

recours à la SÉS et/ou à la SÉS et à une nouvelle

évaluation de l’évaluabilité améliorée (ÉÉA)

En fonction du sujet et de la quantité de données

probantes, les deux méthodologies sont utilisées

L’ÉÉA est une adaptation de la SÉS qui permet une

évaluation rapide et rend compte de l’efficacité de

l’intervention JL Losby et al. Arriving at Results Efficiently: Using the Enhanced

Evaluability Assessment Approach. Prev Chronic Dis 2015;12:150413. DOI:

http://dx.doi.org/10.5888/pcd12.150413

36


CDC : le retour à l’école après un

traumatisme crânien (TC)

Meilleures pratiques pour un retour à l’école après un TC Les étudiants subissant un TC ont besoin de soutien à

l’école après l’accident

Les familles ont de la difficulté à avoir accès à des ressources

Quel est le meilleur modèle de programme ou quels sont les meilleurs éléments pour comprendre les résultats

Flexibilité et applicabilité dans les 50 États

Améliorer l’identification et la gestion des TC dans les systèmes de soins de santé et les écoles

37


Déclin de l’obésité juvénile

Un usage rétrospectif de la SÉS... L’évaluation est-elle valide? L’IMC ou les données sur

les résultats sont-ils corrects?

Le cas échéant, quels facteurs pourraient avoir joué un rôle?

Même processus, différentes questions pour les visites sur le site

La SÉS été utilisée comme démarche de confirmation du résultat et comme démarche d’exploration de ce qui s’est passé

4 sites, des tendances semblables d’interventions et de programmes mènent au résultat prévu

38


C’est un processus...

39

1. Choisir des priorités pour l’analyse

2. Répertorier les programmes et les politiques dans l’environnement

3. Examiner et identifier ceux qui méritent une évaluation de l’évaluabilité

4. Évaluer l’évaluabilité des programmes et des politiques

5. Les examiner et les noter en fonction de leur caractère prometteur et de leur état de préparation à l’évaluation

6. Utiliser l’information :

• Capacité de faire une évaluation rigoureuse

• Commentaires aux innovateurs

• Synthèse intersites


Les raisons de la valeur ajoutée de la SÉS

Qu’est-ce qui est pareil?• Examen des documents

• Discuter avec les parties prenantes

• Élaborer un modèle logique

• Répéter le processus

• Déterminer ce qui peut être évalué

Qu’est-ce qui est différent?

• L’ÉÉ est un élément d’une démarche de découverte

• La SÉS fournit explicitement des commentaires aux innovateurs

• La SÉS a généré des réflexions sur des grappes de projets

• La SÉS a aidé à trouver des politiques et des programmes qui méritent plus d’attention

40


Trouver plus rapidement la meilleure

solution...

Des 458 innovations proposées la première année :

• 174 répondaient aux critères d’inclusion;

o 53 ont été choisies pour une évaluation de l’évaluabilité;

– 27 étaient prêtes pour une évaluation des résultats autonome.

• Mais les parties prenantes considéraient que toutes les

interventions proposées étaient importantes.

• Si elles avaient toutes fait l’objet d’une évaluation,

o il y aurait eu 5 % de chances de trouver quelque chose ayant

même une possibilité de succès!

41


ET de la trouver pour moins cher...

Sans une démarche systématique,

il faudrait réaliser au moins 20 évaluations pour en trouver 1 qui ait du succès.

Cette démarche est rentable pour les bailleurs de fonds et les décideurs.

Elle réduit l’incertitude au sujet des investissements dans les évaluations.

42


Les experts et les professionnels y

gagnent...

Les « innovateurs » experts et praticiens ont trouvé que

ce processus représentait une expérience

d’apprentissage.

Ils ont appris à valoriser les interventions en dehors

de leur domaine d’expertise

L’évaluation de l’évaluabilité elle-même joue un rôle

dans l’élaboration des programmes.

Possibilité d’offrir une assistance technique

43


Effets sur le terrain

Des thèmes et des enjeux sont apparus relativement aux grappes de politiques et de programmes.

Les évaluations de l’évaluabilité peuvent être configurées pour jeter un regard neuf sur :

• les développements dans le domaine

• les familles ou les grappes de politiques et de programmes

Les chercheurs sont fascinés par ce qui est fait dans la pratique.

Stimulé la discussion au sujet de nouveaux programmes de recherche.

44


Vos commentaires ou

questions

• Utilisez Chat pour partager vos

questions et commentaires.

• « Envoyez » les questions à

tous (et non en privé à

l’animatrice)

Panneau latéral du

participant dans

WebEx

Chat



Pourrait cette méthode ou outil être utile

dans la pratique?

A. Énormément

B. Quelque peu

C. Pas du tout

D. Je l’ignore


Veuillez prendre quelques minutes pour partager vos idées sur le webinaire d’aujourd’hui.

Vos commentaires et vos suggestions permettent d’améliorer les ressources que nous offrons et de planifier d’autres webinaires.

Le sondage court se trouve à l’adresse : https://nccmt.co1.qualtrics.com/jfe/form/SV_0SR6Ks5SMQIpiV7

Votre rétroaction est importante

https://nccmt.co1.qualtrics.com/jfe/form/SV_0SR6Ks5SMQIpiV7



Quelles étapes suivrez-vous ensuite? (Cochez toutes celles qui s’appliquent.)

A. Accéder la méthode ou l’outil dont il est question dans l’exposé.

B. Lire le sommaire du CCNMO sur la méthode ou l’outil décrit aujourd’hui.

C. Songer à mettre en pratique la méthode ou l’outil. D. Parler de la méthode ou de l’outil à un collègue.


Partagez votre histoire!

• Utilisez-vous la PDFDP dans vos pratiques?

Nous voulons vous entendre!

• Écrivez-nous : [email protected]

• Avez-vous besoin d’aide relativement à la

PDFDP? Demandez-nous du soutien!

• Écrivez-nous : [email protected]

• Nous répondons habituellement en moins de

24 heures ouvrables.

49


Rejoignez-nous pour notre prochain webinaire.

Série Pleins feux sur les méthodes et

outils : Les évaluations de l'évaluabilité en santé publique

DATE : Vendredi 10 novembre 2017

HEURES : De 13 h à 14 h 30 (HE)

Réalisées avant l’évaluation proprement dite, les évaluations de

l’évaluabilité sont conçues pour maximiser les chances qu’une

évaluation ultérieure aboutisse à des informations utiles. En quoi la

méthode d’évaluation de l’évaluabilité peut-elle vous aider? Joignez-

vous à nous pour en savoir plus!

Inscrivez-vous à : https://health-evidence.webex.com/health-

evidence/onstage/g.php?MTID=ee163884c6bd2b167569d20d98438

91a8

https://health-evidence.webex.com/health-evidence/onstage/g.php?MTID=ee163884c6bd2b167569d20d9843891a8


Série de webinaires du CCNMO

http://www.nccmt.ca/fr/perfectionnement-

professionnel/serie-de-webinaires

• Pleins feux sur les méthodes et outils

• Méthodes et outils thématiques

• Club de lecture en ligne

• Webinaire entre pairs

51

http://www.nccmt.ca/fr/perfectionnement-professionnel/serie-de-webinaires


Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMasterLe développement de cette présentation a été rendue possible grâce à une contribution financière de l'Agence de la santé publique du


Pour plus d'information sur le Centre de

collaboration nationale des méthodes et

outils (CCNMO)

Site du CCNMO : www.nccmt.ca/fr/

Courriel : [email protected]

http://www.nccmt.ca/fr/

mailto:[email protected]


Sélection systématique

•7 programmes parascolaires/3 programmes concernant des services de garde

• 5 programmes : période d’activité physique, collations nutritives

• 4 programmes : période d’activité physique, éducation nutritionnelle

• 1 politique : activité physique, nutrition, temps devant un écran de télévision

•10 programmes d’accès à la nourriture

• 5 marchés agricoles

• 3 programmes concernant les supermarchés ou les dépanneurs

• 2 programmes concernant des restaurants

•6 politiques locales de bien-être de la commission scolaire

• Toutes celles sélectionnées abordaient l’activité physique et la nutrition

53


Résultats

•Le panel d’experts a déterminé que :

– 14 interventions étaient prêtes pour une évaluation des

résultats autonome

– 2 étaient mieux adaptées à une évaluation conjointe

– 3 étaient solides sur le plan théorique, mais avaient besoin

d’être plus développées

– 6 avaient besoin d’assistance technique sur des éléments

précis

54

Education

Webinaire: Les évaluations de l’évaluabilité en santé publique