Embed Size (px)
Citation preview
Les mesures sont-elles à la hauteur?
Le Centre, qu’est-ce que c’est?Le Centre, qu’est-ce que c’est?
Savoir
Il rassemble les gens et les connaissances pour promouvoir la meilleure santé mentale et le
meilleur bien-être possibles pour chaque enfant et adolescent
Capacité Partenariats
Continuum complet de services efficaces et accessibles de santé mentale pour les enfants
et les adolescents.
Quelques présentationsQuelques présentations
Nom et affiliation Programme à évaluer Un résultat recherché
ObjectifsObjectifs
Fournir une vue d’ensemble des concepts reliés à la mesure
Fournir des lignes directrices pour l’évaluation et le choix des mesures
Réduire la crainte associée au sujet des mesures et des indicateurs
Vue d’ensembleVue d’ensemble
A. Qu’est-ce que la mesure?
B. Quelles sont les différentes sources de données et les différents types de mesures?
C. Qu’est-ce qui affecte la qualité des mesures?
D. Comment pouvons-nous choisir des mesures appropriées à notre évaluation?
A. Qu’est-ce que la mesure?A. Qu’est-ce que la mesure?
On se prépareOn se prépareà l’évaluationà l’évaluation
Paradis de l’évaluation!
Paradis de l’évaluation!
Élaboration d’un modèle logique
Identification des résultats prioritaires
Révision et choix des mesures
On élabore des procédures decollecte des données
Qu’est-ce que la mesure?Qu’est-ce que la mesure?
La mesure se réfère au processus d’« opérationnalisation » de la question d’évaluation
Question d’évaluation
Information nécessaire
Sources d’information
Types de données
Mesure de l’évaluation
Exemple de question d’évaluation :
Quelles sont les perceptions de
nos services chez nos clients? La satisfaction des clients face
à nos services s’est-elle améliorée?
Quels domaines du programme devons-nous améliorer?
Question d’évaluation
Information nécessaire
Sources d’information
Types de données
Mesure de l’évaluation
Information provenant des parents et(ou) des adolescents sur :
la satisfaction concernant le lieu la facilité d’accès aux services les perceptions des résultats comme
résultats du service caractère approprié des services perceptions de l’alliance ou de la
relation thérapeutique
Mesure de l’évaluation
Question d’évaluation
Information nécessaire
Sources d’information
Types de données
B. Quelles sont les B. Quelles sont les différentes sources de différentes sources de données et types de données et types de
mesures?mesures?
Niveaux de mesureNiveaux de mesure
Nominale Ordinale Intervalle Ratio
La façon dont je me sens, c’est difficile à quantifier!
Mais sur une échelle de 1 à 10 n’est pas si difficile?
Sources d’informationSources d’information Questionnaires Entrevues ou groupes de consultation Observation Données administratives et(ou) dossiers de santé
Sources d'information auprès des parents et(ou) des adolescents sur la manière dont ils font l’expérience de nos services :
Entrevue Groupes de consultation Données administratives :
nombre et type de plaintes Sondage auto-administré Questionnaire standardisé
Mesure de l’évaluation
Question d’évaluation
Information nécessaire
Sources d’information
Types de données
Données qualitatives : verbales et en image Scores numériques :
• Unités de base comme fréquence, durée, longueur• Scores provenant des échelles de cotes• Scores standardisés (scores z)• Scores équivalant à l’âge ou à l’année ou scores ajustés
Critères pour l’évaluation des scores :• Standardisation : comparabilité procédurale• Caractéristiques psychométriques
Les types de donnéesLes types de données
Type de données sur la satisfaction des clients ou leur perception des soins
Scores à une mesure standardisée de la perception des soins par le client : • Moyenne des cotes à tous les
items• Changements de cotes
moyennes tous les six mois
Question d'évaluation
Information nécessaire
Sources d'information
Types de données
Mesure de l'évaluation
C. Qu’est-ce qui affecte la C. Qu’est-ce qui affecte la qualité des mesures?qualité des mesures?
Contexte culturel et historiqueContexte culturel et historique Utilisation des tests et des
mesures comme « outil culturel » Caractère approprié sur le plan
culturel des mesures Révisions ou mises à jour des
mesures pour refléter les changements dans la population au niveau des scores
Caractéristiques psychométriques : Caractéristiques psychométriques : validitévalidité
La mesure mesure-t-elle VRAIMENT ce qu’elle est censée mesurer?
Validité
apparente
Validité du contenu
ConstructiConstruction, on,
critères et critères et facteurfacteur
PrédictiveConcurrente
Discriminante ou divergente
Les caractéristiques Les caractéristiques psychométriques : fiabilitépsychométriques : fiabilité
= Fiable= Crédible= Toujours la même
chose
Coût et disponibilité Temps pour l’administration,
l’établissement des scores et l’analyse
Participation du personnel Gestion des informations
Les caractéristiques Les caractéristiques psychométriques : faisabilitépsychométriques : faisabilité
Utilité clinique Appropriée sur le plan culturel Utilisations administratives pour la prise de
décision Utilité pour l’amélioration des programmes Utilité pour l’information sur les rapports
publics
Les caractéristiques Les caractéristiques psychométriques : pertinencepsychométriques : pertinence
Autres considérations concernant les Autres considérations concernant les mesures impliquant des enfantsmesures impliquant des enfants
Niveau de développement Niveau d’éducation État de santé Famille
D. Comment pouvons-nous D. Comment pouvons-nous choisir des mesures choisir des mesures
appropriées à l’évaluation?appropriées à l’évaluation?
Critères de choix des mesuresCritères de choix des mesures
Fondées sur la preuve
Faisables
Pertinentes et significatives
Fondées sur la preuveFondées sur la preuve
Caractéristiques psychométriques saines : valides et fiables
Utilisées dans des milieux semblables Recommandées par des experts, si la
bibliographie n’existe pas
Tableaux récapitulatifs des échantillonsTableaux récapitulatifs des échantillons
Sample Summary TableSample Summary Table
Name of Measure
Reference or Developer
Areas measured
Evidence on reliability and validity
Feasibility
(cost, training, who administers)
Relevance Comments
Evaluation Measure
General Information
Developer/ Authors Children’s Indicator Workgroup of Sixteen State Study, Centre for Mental Health Services.
Date of publication, versions available
2001.Separate forms for parents and youth.
Constructs measured The YSS is used as a measure of youth service usage and satisfaction with services.The YSSF is used as a measure of parent report of youth service usage and satisfaction with services.
Population for which designed
Adolescents ages 13 and up.
Method of administration
Self-report questionnaire, paper or telephone interview.
Subscales and number of items
25 items.Five scores based on a factor analysis can be obtained:Good access to servicesParticipation in treatmentCultural sensitivity of staffAppropriateness of servicesPositive outcome of service
Estimated time to administer
Not mentioned.
Costs, availability and permission to use
In public domain. See online resources below.
Examiner qualifications and training requirements
Information not available at this time.
Youth Services Surveys (YSS, YSSF) Evaluation question
Information needed
Sources of information
Types of data
Technical Information
Sample for development of norms
The YSS was created as part of the Mental health Statistics Improvement Program for the Sixteen State Study.
To date 430 youth have completed the survey.
Reliability Reliability indices for the 5 factors of the survey are good: Access = .713, Participation in Treatment = .776, Cultural Sensitivity = .863, Appropriateness = .863, Outcome =.893 (Brunk et al 2000)
Validity This indicator was developed by the U.S. Substance Abuse and Mental Health Services Administration (SAMHSA) for the National Mental Health Performance Measures, and feasibility was assessed across 16 states (Lutterman et al, 2003). The Virginia Department of Mental Health, Mental Retardation, and Substance Abuse Services coordinated the development of the surveys for children and youth (Brunk et al 2000).
The survey is widely used in the U.S. and reports by various states are available in the grey literature.
Uses The YSS may be used for the following:(1) As a data collection method for the following: Client perception of care, consumers
linked to physical health services, children in family-like arrangements and other 24-hour residential care programs.
(2) As a clarification method for findings from other indicators.(3) As a measure of penetration (when providers serve a higher than average
percentage of youth with a particular problem than occurs in the general population.
Review and Comments
Applicability for Ontario
Information not available at this time.
Other considerations
Information not available at this time.
Resources
Key References Brunk, M. (2001). Youth Services surveys Guidelines for administration. [Power Point presentation].
Brunk, M., Koch, J.R., McCall, B. (2002). Report on Parent satisfaction with Services at Community Services Boards. Virginia Department of Mental Health, Mental Retardation and Substance Abuse Services.
Online Resources http://www.mhsip.org
Contact information
E-mail : [email protected].
Youth Services Surveys (YSS, YSSF) http://www.mhsip.org
Question d'évaluation
Information nécessaire
Sources d'information
Types de données
Mesure de l'évaluation
Mesures d’alliance thérapeutique
Blatt et Zuroff 2005 : L’importance d’inclure l’alliance thérapeutique comme facteur modérant les résultats du traitement science direct link
Elvins et Green 2008 : Révision des concepts et des mesures de l’alliance thérapeutique science direct link2
Green 2006 : Mesures de l’alliance thérapeutique en santé mentale des enfants et des adolescents interscience link
Question d'évaluation
Information nécessaire
Sources d'information
Types de données
Mesure de l'évaluation
Les mesures de la compétence culturelle
Questionnaire d’auto-évaluation de la compétence culturelle friends link
Quelques questions Quelques questions communescommunes
Traduire ou non Choisir des items de différents outils de
mesure Donner un sens aux données :
indicateurs, points de repère et normes
Le processus de prise de décision pour Le processus de prise de décision pour l’identification, le choix et l’utilisation des l’identification, le choix et l’utilisation des
mesuresmesures
Spécifierle sujetétudié
Identification Choix Utilisation
Effectuerune étude
bibliographique
Identifierles mesuresexistantes
Identifierles lacunes :
pas demesures
existantes
Examiner les preuves,
la faisabilité etla pertinence
Utiliserla mesure
Réviser lamesure
Développerde
nouvellesmesures
Collecter etanalyser les
données(comme
développées)
Collecter denouvelles
preuves surla validité et
la fiabilité
Les étapes pour traduire les mesuresLes étapes pour traduire les mesures
Traduire dansla langueseconde
Retraduiredans lalangue
première
Effectuerun test
pilote avecdes experts
et desutilisateurs
Collecter denouvelles
preuves surla validité et
la fiabilité
Comparerles résultatsà la version
originelle
Matrice des résultatsMatrice des résultats Question d'évaluation Résultats ou variables du processus Indicateurs ou mesures D’où proviennent les données Comment les données sont collectées et à quelle
fréquence? Qui collecte les données? Quand les données sont collectées? Comment les données seront analysées
Exemple de matrice de donnéesExemple de matrice de donnéesQuestion d'évaluation Les clients perçoivent-ils les résultats comme résultant des
soins/services qu’ils reçoivent?
Processus ou variable des résultats
Perception des soins par le client
Indicateurs/ mesures Sondage sur les services aux adolescents
Source de données Les jeunes de 16 à 18 ans et les parents des enfants et adolescents de moins de 16 ans
Comment les données sont collectées
Questionnaire auto-administré, en personne et par la poste
Qui collecte les données? Réceptionniste
Quand les données sont collectées
À la fin du programme, au moins 3 mois après le début du programme
Plan d’analyse Comparer la moyenne des scores totaux pour les personnes du programme A avec ceux du programme B
Des questions?Des questions?
Des remarques clés?Des remarques clés?
RésuméRésumé La mesure implique spécifier ou
« opérationnaliser » la question d’évaluation. Le processus ou les variables des résultats
peuvent être évalués à l’aide de données numériques ou qualitatives.
Les sources d'information incluent les questionnaires, les entrevues, les groupes de consultation et les données administratives.
Résumé Résumé (suite)(suite)
Les tableaux sommaires aident à organiser les informations au sujet des différentes mesures et aident à prendre des décisions éclairées concernant la mesure la plus appropriée pour l’évaluation.
Une matrice des indicateurs et des mesures à utiliser dans l’évaluation résume comment, où et quand les données doivent être collectées.
Les prochaines étapesLes prochaines étapes Passer en revue le modèle logique et identifier les
questions d’évaluation Spécifier le processus et les variables des résultats Résumer l’étude bibliographique Réviser et choisir des mesures Créer des indicateurs et mesurer la matrice Développer le protocole de collecte des données Développer un plan pour l’analyse des données
Les webinaires à venir?Les webinaires à venir?
Février 2009 : • l’utilisation d’Excel et de SPSS pour les
statistiques fondamentales
OU • l’évaluation des processus
Mars 2009 : La rédaction du rapport final
Pour obtenir de plus amples Pour obtenir de plus amples informationsinformations
Évangéline Danseco, PhDChef, Évaluation et recherche
[email protected], poste 3319
www.onthepoint.ca
