Embed Size (px)
Citation preview
Utilisation des méthodes qualitatives
dans l’évaluation23 février 2012
Notes générales
• Le webinaire sera enregistré et sera publié sur le Web du Centre à titre de ressource éducative.
• Les diapositives ont été envoyées aux participants.• Connectez-vous à l’aide d’un téléphone à chaque
fois que cela est possible pour une qualité de son optimale.
• Si vous éprouvez des problèmes techniques, des employés vous aideront en ligne.
• Une brève enquête d’évaluation sera réalisée auprès de tous les participants à la fin du webinaire..
Notes générales
• Le webinaire sera suivi d’une période de questions, toutefois on vous encourage à poser des questions tout au long de la présentation.
• Les questions peuvent être posées par voie électronique ou oralement.
Répondre aux questions :
Qu’est-ce que le Centre?
Vision
Assurer aux enfants et aux adolescents une santé mentale et un bien-être optimaux.
Mission
Nous rassemblons les gens et les connaissances pour accroître la qualité et l’efficacité des services de santé mentale pour le bien des enfants et des adolescents ainsi que de leur famille et des personnes qui s’en occupent.
4
Qu’est-ce que le Centre?Le plan énonce trois grandes priorités stratégiques :
Premier objectifFavoriser une culture d’apprentissage organisationnel qui aiderait les organismes à exploiter les données probantes pour améliorer les résultats pour la clientèle
Deuxième objectifÉtablir des partenariats renforçant les capacités dans les services en santé mentale
Troisième objectifÊtre un véritable organisme apprenant et donner l’exemple
5
Le Centre s’attèle à …
• Renforcer la capacité des organismes à déterminer les enjeux et les solutions pour améliorer les résultats de SMEA
• Améliorer la communication et la collaboration au sein de la communauté de SMEA
• Soutenir l’application, la mise en œuvre et l’évaluation des pratiques fondées sur des données probantes
• Faciliter l’apprentissage organisationnel
Définition d’un organisme d’apprentissage
• crée une culture d’apprentissage;• favorise le professionnalisme, le développement du
leadership et l’apprentissage continu; • veut bien prendre des risques;• tire des leçons de l’expérience;• favorise l’amélioration continue en partageant les
nouvelles connaissances.
Le périple de l’apprentissageTenez-vous prêt
Le périple de l’apprentissage
Racontez votre histoire
Passez à l’action
Évaluez et réfléchissez
Découvrez ce qui fonctionne
Présentation des participants
• Dans l’auditoire, qui travaille actuellement avec un consultant du Centre dans le cadre du programme d’appui à l’évaluation?• Dans le volet Planification?• Dans le volet Action?• À des consultations non financées?• À d’autres activités? Veuillez
préciser…
Objectifs du webinaire
Décrire l’enquête qualitative Examiner les circonstances où il est
possible d’utiliser l’approche qualitative Donner des exemples de méthodes
qualitatives courantes Faire un survol du processus d’analyse
Présenter brièvement les atouts et les limites des méthodes qualitatives.
Aborder les avantages que procurent les méthodes mixtes
Présentatrices
Purnima Sundar, Ph. D. Gestionnaire, Programme de soutien à
l’évaluationCentre d’excellence de l’Ontario en
santé mentale des enfants et des adolescents
Katharine Dill, Ph. D.Directrice administrative
Practice and Research Together (PART)
Qu’est-ce que l’enquête qualitative?
Un aperçu…
Si l’approche quantitative raconte une histoire à l’aide de nombres, l’approche qualitative, quant à elle, emploie des mots, des images, etc. pour donner un aperçu d’un phénomène humain.
Origines en anthropologie, approche naturaliste Un effort pour mieux comprendre l’interprétation
que donnent les individus à des événements survenant dans leur vie.
Approches à l’égard de l’enquête qualitative
Phénoménologie• L’étude de l’expérience des individus à l’égard d’un
phénomène particulier• La signification de l’expérience vécue
Théorie fondée sur les faits• Accent sur la formulation de théories à partir
d’observations (méthode inductive) Ethnographie
• Étude d’une culture particulière• Travail intensif sur le terrain
Pourquoi utiliser une approche qualitative?
Qualitatif ou quantitatif?
Qualitatif QuantitatifObjectif Description complète Classification et calculs
pour expliquer un phénomène
Approche Inductive DéductiveAxe Subjectif (interprétations
individuelles)Objectif (mesure précise)
Rôle du chercheur L’évaluateur est l’instrument L’évaluateur utilise des instruments
Nature des données
Mots, images, objets Chiffres et statistiques
Générabilité Basse Haute
Une approche qualitative permet…
de raconter l’histoire du programme en y faisant une place aux commentaires des participants;
de bien comprendre le programme et ses modalités (tout particulièrement pour les programmes complexes), ce qui peut être utile pour prendre les décisions;
d’avoir une idée des raisons de la réussite ou de la défaillance d’une approche.
Un exemple …Vous souhaitez évaluer une activité sans
inscription préalable de dix semaines destinée aux mères adolescentes. Ses composantes sont l’éducation, le perfectionnement des compétences parentales, la nutrition, les soins personnels et le counseling individuel.
Vous cherchez à comprendre dans quelle mesure cette activité répond aux besoins de ses utilisatrices en éducation et en santé mentale.
Quelles sont vos questions d’évaluation?
Une question d’évaluation de type quantitatif serait…
Une question d’évaluation de type qualitatif serait…
Quatre méthodes qualitatives courantes
1. Entretiens
« … l’objectif de l’entrevue, c’est de nous permettre de comprendre la perspective de l’autre personne » (p. 341, Patton, 2002)
Rencontre informelle, qui ressemble à une conversation, encadrée par un guide d’entrevue avec des questions normalisées ouvertes
http://www.excellencepourenfantsados.ca/sites/default/files/docs/minitrousse_entrevues_qulaitatives_f.pdf
2. Groupes de discussion Formez un petit groupe de 6 à
8 personnes qui partageront leurs réflexions sur un sujet particulier
Les membres du groupe ont une expérience en commun
Les sessions durent généralement de 1 et demie à 2 heures et demie
http://www.excellencepourenfantsados.ca/sites/default/files/docs/minitrousse_groupe_de_discussion_apercu_f.pdf
3. Observations L’objectif consiste à recueillir des
observations directes concernant un groupe ou un événement particulier
Un observateur participant (interne) → observateur externe prend des notes sur le terrain, notamment de l’information sur les gens, les endroits, les comportements et les activités
Il en résulte une description complète, de l’information narrative
Méthode souvent utilisée pour l’évaluation participative et l’autonomisation
4. Analyse des dossiers L’objectif consiste à relever les tendances
ou les thèmes qui reviennent souvent dans les documents ayant trait à l’activité ou les dossiers de traitement clinique.
Ces documents ou dossiers sont passés en revue pour en « extraire » de l’information (méthode faisant souvent intervenir au moins deux évaluateurs ou plus pour garantir la fiabilité)
Le résultat : une gamme de thèmes ou de tendances (pouvant être également numériques)
Introduction à l’analyse
Leech et Onwuegbuzie, 2008
Le processus… On relève les thèmes communs
(codes/catégories) dans les entretiens (analyse du contenu) pour chacune des questions.
On vérifie dans les entretiens les cas qui permettent de confirmer ou non la théorie.
On regroupe tous les éléments communs et établit les relations entre les différentes catégories.
De retour à notre exemple…
I : As-tu aimé participer à cette activité?P: J’ai adoré. Quand on est mère adolescente, parfois on est très maltraitée. Même mes amis me traitent parfois de manière méprisante. Il y a beaucoup de pression et c’est difficile de demander de l’aide. Dans (cette activité), les chefs du groupe sont authentiques et ils comprennent mes problèmes. C’est cool parce qu’on apprend à cuisinier et, en même temps, on parle de notre vie. Les autres filles sont aussi super. Parfois, on se voit pendant la fin de semaine… vous savez, on se rassemble avec nos enfants… on s’amuse beaucoup.I: Est-ce qu’il y a des choses qui t’ont déplu dans l’activité?P: C’est difficile de s’y rendre. Je dois prendre 3 autobus et c’est vraiment difficile l’hiver avec la poussette et tout ça. Certaines des filles n’essaient même pas… ça ne vaut tout simplement pas la peine d’habiller ton bébé, d’attendre l’autobus dans le froid… Parfois, j’ai de la chance et mon frère me conduit, mais pas toujours.
Atouts et limites des approches qualitatives
Évaluation de la qualité des données
Qualitatif Quantitatif Évaluation
Confiance Rigueur
UtilitéFaisabilité
Conformité à l’éthiqueExactitude
Crédibilité Validité interne
Transférabilité Validité externe
Sécurité de fonctionnement
Fiabilité
Méthodes pour accroître la fiabilité
Triangulation Vérification par le membre Description complète
Atouts de la recherche qualitative répond à la question «pourquoi» examine la signification personnelle examine les comportements collectifs
complexes place le contexte permet d’étudier des processus dynamiques permet de choisir des questions et les types de
recherches de suivi contribue à la formulation de la théorie permet de décrire les phénomènes complexes favorise l’échange des connaissances
Limites de la recherche qualitative
Expériences personnelles et préjugés influant souvent sur les interprétations
Peu de généralisabilité Impossibilité de mettre les hypothèses à
l’essai Méthode nécessitant beaucoup de temps Savoir-faire et longue formation nécessaires
Méthode qualitative + méthode quantitative =Méthodes mixtes
Méthodes mixtes
Modèle de recherche combinant les approches et les méthodes quantitatives et qualitatives et visant à mieux comprendre un problème donné.
Avantages• Compensent les points faibles de chaque approche.• Plus complètes que l’une ou l’autre des approches
employées isolément.• Permettent d’aborder des questions qui sont hors de
portée des deux approches employées isolément.• Multiplient les possibilités de collaboration.
Quelques modèles de méthode mixte
Triangulation Intégration Explicatif Exploratoire
Une histoire de terrain
Fitting a Square Peg into a Round Hole —Understanding Kinship Care Outside
of the Foster Care Paradigm
Katharine Dill, Ph. D.Faculté Factor-Inwentash de travail social
de l’Université de TorontoDirectrice administrative de PART
« Le souvenir que les enfants garderont de vous, ce ne sont pas les objets que vous leur aurez donnés, mais le sentiment que vous les avez aimés. »
Richard Evans, date inconnue
But de l’étude
Étude exploratoire Analyse comparative – mettre en
regard les éléments communs aux soins par les proches et au placement en famille d’accueil ainsi que ce qui les distingue selon les jeunes, les aidants et les intervenants.
Échantillon de population
Population Aidants Intervenants Jeunes
Soins par les proches
12 5 6
Placement en famille d’accueil
10 9 4
Total 22 14 10
Sites des études
Huit organismes de protection de la jeunesse provenant de quatre différentes zones géographiques : Sud-Ouest, Grand River, Centre et Est.
Aucun organisme de la région du Nord n’a participé aux études.
Grandparents Advocacy Network (réseau pour la défense des droits des grands-parents) : Hamilton, Jackson’s Point et Mississauga, en Ontario
D’autres organismes d’ailleurs au Canada et aux États-Unis ont demandé de participer, mais n’ont pas pu faute de temps et d’argent.
Problèmes survenus lors du recrutement
Protocole rigoureux en matière d’éthique Au total, trois proches qui s’occupent de
l’enfant et issus de l’organisme ont participé –les autres provenaient du groupe de défense des proches.
Il a été difficile de recruter des jeunes – les sites de réseautage social n’ont pas été utilisés.
Il a fallu consulter les experts universitaires en éthique six fois en tout.
Méthodologie de l’étude
Théorie reposant sur les faits Étude qualitative Aucune hypothèse – formulation
d’une théorie entièrement nouvelle Vérification complète par les
membres Rédaction du journal et
d’observations
Analyse documentaire
Traité de Campbell, faisant autorité en la matière (Winokur, Holtan, et Valentine, 2009).
Les enfants placés dans leur parenté ont subi moins d’interruption de placement en comparaison des enfants en familles d’accueil (Farmer et Moyers, 2008; Webster et coll., 2000)
Au chapitre du comportement, des émotions et de la santé mentale, les enfants placés dans leur parenté obtiennent de meilleurs résultats que les enfants en famille d’accueil (Farmer et Moyers, 2008; Leischeid et coll., 2007; Tarren-Seeney, 2008; Timmer et coll., 2004), mais les données globales sur le bien-être physique ne permettent pas de tirer de conclusion (Carpenter et Clyman, 2004; Dubowitz et coll., 1992).
Les taux de maltraitance pour les placements chez des membres de la parenté sont inférieurs ou égaux à ceux des placements en famille d’accueil; toutefois, il faudra examiner davantage d’autres possibles facteurs de confusion, tels que la surveillance plus étroite des familles d’accueil, le comportement des enfants ainsi que la formation et le soutien offerts aux personnes qui s’occupent de l’enfant, des facteurs qui sont susceptibles d’avoir une incidence sur les rapports de maltraitance dans les deux types de placement (Hunt, 2009; Winokur et coll., 2008).
Les travailleurs de la protection de la jeunesse sont d’avis que le placement chez un proche atténue la stigmatisation de l’enfant, mais que celui-ci encourt peut-être davantage de risque (Peters, 2005);
Les enfants placés chez un proche rapportent ressentir un bien-être général bien meilleur (Broad et coll., 2001; Messing, 2006).
Constatations
D’importantes constatations ont été dégagées pour chacune des sous-populations.
Pour tenir compte de la durée de la présentation, celle-ci n’abordera que les principaux thèmes.
Chacune des sections de la population fera l’objet d’un article dans le OACAS Journal dans les mois à venir.
Constatations des intervenants (10 thèmes, en tout)
1. Stigmatisation et honte2. Différences entre les placements chez
les proches et ceux en famille d’accueil
3. Relations4. Facteurs organisationnels
Constatations des personnes qui s’occupent de l’enfant (20 thèmes, en tout)
1. Défense des droits2. Entre l’arbre et l’écorce(proches qui
s’occupent des enfants)3. Compartimentalisation (travaille dans des
composants distincts)4. Différences entre les placements chez des
proches et ceux en famille d’accueil5. Motivation : gains au plan financier ou désir
de prendre soin d’un enfant
Constations des jeunes (8 thèmes, en tout)
1. On doit s’y sentir chez soi2. La clé : les relations3. Exacerbation des émotions4. Déménagement douloureux et on se sent
seul5. Partage de « nos » expériences.
Limites de l’étude
L’échantillon de la population des jeunes était peu nombreux (10).
La population des proches manquait de diversité Le point de vue des Autochtones et des résidants du
Nord n’a pas suffisamment été traité. La chercheuse était bien connue dans le domaine. Il s’agissait d’une mise à l’essai des questions des
entretiens. Le protocole en matière d’éthique a compliqué les
entretiens.
Questions touchant les pratiquesJeunesGroupes de soutien pour les jeunes placés chez des prochesLien avec les proches, même si le jeune n’est pas placé chez euxPrise en compte des relations de frères et sœurs à l’intérieur du placementPersonnes qui s’occupent des enfantsLes proches qui s’occupent des enfants ont besoin de modèles de soutien qui leur sont propresFormation des parents d’accueil sur les placements chez les prochesSoutien par les pairs donné aux parents d’accueilTraumatisme et perte pour les personnes qui s’occupent des enfants devant être mieux compris par le réseauSoutien par les pairs donné aux enfants biologiques des personnes qui s’occupent des enfantsIntervenantsÉvaluation préalable des proches en vue du placementFormation relative au travail en équipe - mobilisation des prochesRecherche de familles à l’aide de génogrammesDécompartimentalisation des intervenants – source de confusion
Incidences sur les politiquesJeunesLes jeunes doivent avoir leur mot à dire sur bien plus que le modèle traditionnel LAC (s’occuper des enfants) et les exigences administratives du réseau. Visites préalables au placement. Surveillance des foyers où sont placés les enfantsPersonne qui s’occupe des enfantsPrésence de proches qui s’occupent des enfants dans les comités responsables de l’élaboration des politiques.Banquet pour les parents d’accueil devient celui pour les personnes qui s’occupent des enfantsSoutien financier et d’autres natures aux parents d’accueil et aux proches qui s’occupent des enfants devant faire l’objet d’autres analyses – on ne peut se contenter de comparer le soutien dans ces deux genres de placement. Le réseau doit comprendre les besoins propres aux familles de proches qui s’occupent des enfants qui sont différents de ceux des parents d’accueil.IntervenantsLangage utilisé pendant la visite de 7 jours – comprendre l’importance clinique de la perception des exigences administratives perçues Examen préalable aux placements chez des membres de la parentéÉtudier l’importance vitale des fratries dans les placements et dans les familles biologiques.
Conclusion
Les praticiens doivent considérer les placements chez les proches isolément du paradigme des familles d’accueil –formation sur les incidences cliniques
Mobilisation des jeunes pour la recherche si nous souhaitons véritablement comprendre leurs expériences subjectives
Les personnes qui s’occupent des enfants et les jeunes doivent bénéficier d’un soutien par les pairs
Processus décisionnel fondé sur les données probantes –Utilisation de recherches pour la prise de décisions sur des programmes de placements chez des proches
Des questions?
Webinaires à venirIntroduction to Quantitative Analysis
Mylan Ly et Rhonda CouchLe 6 mars à 13 h
Introduction à l’analyse de données quantitatives(en français)
Marie-Josée EmardLe 8 mars à 11 h
Assessing program readiness for evaluationElizabeth McGee et Purnima Sundar
Le 20 mars
Enfin…
N’oubliez pas de remplir le questionnaire après le webinaire.
Vos commentaires sont très importants pour nous. Nous vous remercions de prendre un moment pour nous en faire part!
Pour de plus amples renseignements
Purnima Sundar Gestionnaire, Programme de soutien à l’évaluation
Centre d’excellence de l’Ontario en santé mentale des enfants et des adolescents
Katharine DillDirectrice administrative
Practice & Research Together (PART)[email protected]
