COMMENT ÉVALUER DES INTERVENTIONS COMPLEXES

ASTRID BROUSSELLE, PH.D.

CHAIRE DE RECHERCHE DU CANADA SUR L’ÉVALUATION ET L’AMÉLIORATION DU SYSTÈME DE SANTÉ (CRC-EASY.CA)

PROFESSEUR RÉGULIER, DÉPARTEMENT DES SCIENCES DE LA SANTÉ COMMUNAUTAIRE

TITULAIRE DE RECHERCHE, CENTRE DE RECHERCHE DE L’HÔPITAL CHARLES-LEMOYNE

UNIVERSITÉ DE SHERBROOKE

TORONTO, 2015, SYMPOSIUM SUR LA SCIENCE PROGRAMMATIQUE

QU’EST-CE QUE L’ÉVALUATION?

- Déterminer le mérite, la valeur et l’utilité (jugement, divers critères)

- d’une intervention ou de ses composantes (ressources, processus, résultats).

- Examen systématique

- Objectif : améliorer l’intervention, mieux-être social, responsabilisation/reddition de comptes, ordre du jour social, action

Merriam-Webster : « Porter un jugement sur la valeur ou la situation (d’une personne ou chose) de manière minutieuse et réfléchie. » [trad.]

Évaluation normative Recherche évaluative

Examen des résultats

Examen du processus

Analyse stratégique

Analyse des effets

Évaluation économique

Analyse de la production

Analyse de la mise en œuvre

Analyse logique

PLUSIEURS QUESTIONS

Examen de la structure

Le problème

Objectifs

Activités/services

Ressources

Effets

Contexte

NOMBREUX MODÈLES

DE SHADISH, COOK ET LEVITON (1991)

Pratique

Valeurs

ConnaissancesUtilisation

Programmes sociaux Problème

Pawson & Tilley

Source: Alkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tracing Theorists’ Views and Influences. Thousand Oaks, CA: SAGE, 12–65. ADAPTED from Shadish Cook and Leviton (1991)

Le paradis de l’utilisation

La sphère du

lobbying

Le marécage

conditionné par le savoir

LES MODÈLES D’ÉVALUATIONET LEUR USAGE

CONTANDRIOPOULOS, D., BROUSSELLE, A. (2012) “Evaluation models and evaluation use?” Evaluation: The International Journal of Theory Research and Practice, vol. 18: 61-77.

INTERVENTION COMPLEXE

Des interventions complexes sont caractérisées par :

• Incertitude, imprévisibilité• Interdépendance entre un grand nombre d’acteurs• Acteurs qui s’adaptent et évoluent• Résultats émergents créés par les connexions ou relations

au sein du système• Non-linéarité entre les intrants et les extrants

(Shiell, Hawe, & Gold, 2008, cité dans Zimmerman et al. 2012 )

L’ANALYSE D’INTERVENTIONS COMPLEXES

Piège de la réduction / piège de la complexité

Accepter la complexité :

• Accepter les paradoxes (pas les contradictions) et composer avec eux

• Analyser les relations, les « éléments d’intermédiaire »• Accepter l’incertitude• Utiliser des perspectives multiples

(Zimmerman et al. 2012 )

Affirmation qui semble se

contredire, ou paraît simpliste, mais qui peut

inclure une vérité latente.

LES RÉPONSES DE L’ÉVALUATION À LA COMPLEXITÉ DES INTERVENTIONS

Analyse logique

Évaluation réaliste

Analyse des contributions

L’ANALYSE LOGIQUE

Source : Rey et al. 2012

Caractéristiques cruciales de l’intervention

Effets

Effets désirés

Autres effets

Conditions cruciales

Analyse logique directe

Alternatives (interventions)

Effets

Autres effets

Conditions cruciales

Analyse logique inversée

Effets désirés

L’ÉVALUATION RÉALISTE

« Qu’est-ce qui fonctionne, pour quoi, dans quelles circonstances? »

Théorie

Hypothèses

Observations

Spécification du programme

MécanismesContextesRésultats

ANALYSE DES CONTRIBUTIONS

Source: Mayne, 2012

ECONOMIC VALUE

TCHOUAKET, E., BROUSSELLE, A., FANSI, A., DIONNE, P-A., BERTRAND, E., FORTIN, C. (2013) The economic value of Quebec's water fluoridation program, Journal of Public Health, 26 juin 2013, open access: springerlink.com

CE QUE CES APPROCHES ONT EN COMMUN

Centralité de la « théorie du changement »

Importance du contexte

Intégration de diverses perspectives

Interprétation plausible (incertitude)

Processus de recherche valide et rigoureux

Créativité

http://www.jr-art.net

RÉFÉRENCESAlkin MC and Christie CA (2004) An evaluation theory tree. In: Alkin MC (ed.) Evaluation Roots. Tracing Theorists’ Views and Influences. Thousand Oaks, CA: SAGE, 12–65.

Champagne F., Contandriopoulos A-P, Brousselle A., Hartz Z., Denis J-L. (2011-2e édition) « L'évaluation dans le domaine de la santé : concepts et méthodes », dans BROUSSELLE A., Champagne F., Contandriopoulos A‑P., Hartz Z. (Eds) L'Évaluation : Concepts et méthodes, Presses de l’Université de Montréal : 49-70.

Mayne J. Contribution analysis: Coming of age? Evaluation 2012; 18(3): 270-280.

Dubois N, Lloyd S, Houle J, Mercier C, Brousselle A, Rey L. Discussion: Practice-based evaluation as a response to address intervention complexity. Canadian Journal of Program Evaluation 2012; 26(3): 105-113.

Pawson, R., & Tilley, N. (2005). Realistic evaluation. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 362-367). Thousand Oaks, CA: Sage Publications.

Rey L., Brousselle , A., Dedobbeleer, N. (2012) «Logic analysis: testing program theory to better evaluate complex interventions», dans Houle, J., Dubois, N., Lloyd, S., Mercier C., Hartz, Z., Brousselle, A. (Ed.) (2012) « L'évaluation des interventions complexes », numéro spécial, Revue Canadienne d'Évaluation de Programme/ Canadian Journal of Program Evaluation, Volume 26(3): 61-89.

Shadish W.R., Cook T.D., Leviton L.C. (1991) «Good Theory for Social Program Evaluation», in Shadish W.R., Cook T.D., Leviton L.C., Foundations of program evaluation. Theories of practice, Sage Publications: 36-67.

Shiell, A., Hawe, P., & Gold, L. (2008). Complex interventions or complex systems? Implications for health economic evaluation. BMJ, 336(7656), 1281–1283. doi:10.1136/bmj.39569.510521.AD

Zimmerman, B., Dubois, N., Houle, N., Lloyd, S., Mercier, C., Brousselle, A. , Rey, L. (2012) «How does complexity impact evaluation?:  An Introduction to the Special Issue», numéro spécial, Revue Canadienne d'Évaluation de Programme/ Canadian Journal of Program Evaluation, Volume 26(3):v-xx. Astrid.brousselle@usherbrooke.ca

crc-easy.ca