Consortium de recherche et d'information sur la réussite étudiante dans l'enseignement supérieur

L’évaluation de programmes de prévention de l’échec scolaire au

secondaire: leçons et défis

Michel Janosz - CRIRES Université de Montréal

14 Février 2003

L’équipe d’évaluation

Des chercheurs experts (M. Janosz, P. Abrahmi, J. Bélanger, R. Bertrand, F. Bowen, S. Cartier, M.-A. Deniger, R. Deslandes, M. Perron) provenant de différents champs de spécialisation

Des coordonnatrices (M. Lacroix, C. Quiéroga, G.Roy, G. Légaré, C. Gendron, A. Larose)

Des étudiantes apprenant leur métier (assistantes de recherche)

Prévention de l’échec scolaire en milieux défavorisés : de récentes expériences d’évaluation de programmes

Programme d’Action Concertée sur l’abandon scolaire 1998-2001 (FCAR)

Évaluation de la Stratégie d’Intervention Agir Autrement (SIAA) 2002-2007 (MEQ)

Objectifs communs

Évaluer la qualité d’implantation des interventions

Évaluer les effets : atteinte des objectifs et ampleur des effets

Identifier les processus (facteurs médiateurs et modérateurs) responsables des effets observés

Des méthodologies similaires

Étude d’implantation : – Méthodologies quantitatives (questionnaires)

et qualitatives (entrevue de groupe, analyse documentaire, observations directes ?)

Étude des effets : – Méthodologies quantitatives (devis quasi-

expérimental, longitudinal, analyses à mesure répétée) et qualitatives (analyse de contenu et histoires de cas)

Opérationnalisation de la réussite scolaire

Perspective multidimensionnelle :– Instruction /Qualification :

• rendement, persévérance, décrochage, stratégies d’apprentissage…

– Socialisation : • motivation, attitudes face à la scolarisation, indiscipline,

adaptation psychosociale (conduites déviantes, problèmes intériorisés)

– Variables médiatrices/modératrices : • Qualité de la relation avec les enseignants, qualité des

pratiques pédagogiques, influence des pairs déviants, engagement et soutien parental, climat scolaire..

Caractéristiques individuelles

Sexe Âge

Expérience scolaire passée

Intégration scolaire et sociale de

l’élève

Performance

Stratégiesd’apprentissage

Motivation Relations sociales(pairs, personnel enseignant, autres adultes)

Habiletés sociales

Adaptationpsychosociale

Environnementssocioéducatifs

Communauté

École

Famille

Réussite scolaire

Passage d’un cycle à l’autre

Intégration socioprofessionnelle ?

Persévérance

Performance

Diplômation

Contexte sociodémographiqueet culturel

Urbanicité / ruralitéConditions sociales et économiques

Structure familialeDiversité ethnique et culturelle

Figure synthèse des dimensions considérées pour l’évaluation de la Stratégie d’Intervention Agir Autrement

Dimensions déterminantes mais qui échappent à l’influence des écoles secondaires

Dimensions prédictives de la réussite scolaire susceptibles d’être modifiées par les interventions ou d’expliquer les résultats observés

Résultats attendus

18/09/02 DOCUMENT DE TRAVAIL Unité de coordination / Équipe de recherche évaluative SIAA Michel Janosz

?

?

?

Synthse des dimensions considres pour lÕvaluation de la Stratgie dÕIntervention Agir Autrement

DIMENSIONS Ë CONSIDƒRER DIMENSIONS POTENTIELLEMENT EFFETS ATTENDUSEXPLICATIVES DES EFFETS DE SIAA

CONTEXTE SOCIODƒMOGRAPHIQUE ENVIRONNEMENTS SOCIOƒDUCATIFS RƒUSSITE SCOLAIREET CULTUREL

Environnement urbain / rural ƒCOLE Dimension lie ˆ la qualificationConditions sociales et conomiques

Diversit ethnique et culturelle Climat Accroissement du taux de russite aux examensStructure familiale Climat relationnel

Climat de scurit Accroissement du taux de passage au cycle suivantClimat de justice ˆ l'intrieur du laps de temps prvu

CARACTƒRISTIQUES INDIVIDUELLES Climat ducatifClimat d'appartenance Accroissement du taux de dipl™mation

Sexe Pratiques ducatives Rduction du taux de dcrochageåge Encadrement cole / classe

Exprience scolaire passe Soutien aux lves ˆ risque Accroissement du taux d'lves qui poursuivent Leadership et gestion de la direction leurs tudes aprs 17 ans

Activits parascolairesCollaboration cole-famille

Collaboration cole-communautAUTRES DIMENSIONS DE LA RƒUSSITE

Perception de problmesAbsentisme

Indiscipline Amlioration de l'intgration socioprofessionnelleViolence / drogues

Synthse des dimensions considres pour lÕvaluation de la Stratgie dÕIntervention Agir autrement

DIMENSIONS Ë CONSIDƒRER DIMENSIONS POTENTIELLEMENT EFFETS ATTENDUSEXPLICATIVES DES EFFETS DE SIAA

ENVIRONNEMENTS SOCIOƒDUCATIFS

ƒCOLE (suite)

Exprience scolaire du personnelMotivation / Satisfaction professionnelle

Relations avec lves, communication avec les parentsRelations entres les membres du personnel

Mobilit, roulement, recrutementSoutien et dveloppement professionnel

FAMILLE

Pratiques ducativesSoutien, encouragement, valorisation

Supervision, encadrementCommunication et attachement enfants-parents

Collaboration famille-cole

COMMUNAUTƒRelations avec les organismes sociosanitaires

Relations avec les organismes communautairesRelations avec les organismes culturels et conomiques

Synthse des dimensions considres pour lÕvaluation de la Stratgie dÕIntervention Agir autrement

DIMENSIONS Ë CONSIDƒRER DIMENSIONS POTENTIELLEMENT EFFETS ATTENDUSEXPLICATIVES DES EFFETS DE SIAA

INTƒGRATION SCOLAIRE ET SOCIALE DE L'ƒLéVE

Intgration scolairePerformance

PersvranceStratgies d'apprentissages

Motivation, Engagement, Sentiment d'appartenanceInvestissement parascolaire

Attitudes envers le dcrochage

Intgration socialeHabilets sociales

IndisciplineRelations entre pairs

Relations avec le personnel enseignant etles autres adultes

Adaptation psychosocialeDlinquance, drogue

Anxit, dpression

Intgration socioprofessionnelle

Action concertée - rappel des résultats

Résultats immédiats (court terme 6 mois)

Un impact saisissable dès l’entrée au programme (meilleur rendement, meilleure motivation, apaisement si entrée en situation de crise)

Une capacité d’héberger et de protéger les élèves particulièrement observable chez les jeunes soutenus par leurs parents

Action concertée - Quelques leçons méthodologiques

Intégrité des programmes (implantation), objectifs clairs et contrôle des chercheurs.

Grosseur de l’échantillon, puissance statistique, mesure de l’ampleur des effets (effect size)

Importance des mesures répétées et longitudinales (puissance stat., et pérennité des effets

Coût-bénéfice de la triangulation des mesures (le problème de mesures observationnelles; autorévélées)

SIAAPrésentation

La Stratégie d’intervention Agir Autrement vise à financer, sur 5 ans et jusqu’à concurrence de 125 $, 191 écoles secondaires de milieux défavorisés

Le groupe d’évaluation de la SIAA est chargé de conduire deux grands volets d’enquête, un portant sur la qualité d’implantation de la Stratégie, l’autre sur les effets de l’intervention

Le groupe d’évaluation est également chargé de contribuer à différents moments de l’implantation de la Stratégie (état de situation, diffusion des pratiques efficaces, etc.)

SIAAÉchantillon 70 écoles ciblées et 20 écoles de comparaison Plus de 50 000 élèves et plus de 5000 membres du

personnel 2 temps de mesures de 2 heures à chaque fois

pendant 4 ans + Opération relance auprès des décrocheurs .

Composition d’une cohorte de 1400 élèves faisant l’objet d’une attention toute particulière : mesures supplémentaires, entretiens qualitatifs auprès des élèves et de leurs parents (une centaine au total), observations en classe, etc.

SIAA

Défis de l’évaluation de l’implantation

La SIAA est plus prescriptive que directive

Emphase mise sur l’action locale et sur le contrôle local

Absence de contrôle de l’intervention et ses impacts sur l’évaluation de l’implantation

Opposition entre une «logique de diffusion» et une «logique de traduction»

SIAADéfis de l’évaluation des effets

Absence de contrôle sur les programmes et les objectifs d’intervention (effets)

Devis de recherche : quasi-expérimental faible (groupe de comparaison non équivalent ou absence de contrôle de l’effet historique)

L’obtention des consentements des parents des mineurs et la mobilisation des écoles

Problème de standardisation des mesures du rendement scolaire

Absence de neutralité des chercheurs (engagement à offrir des

rétroactions annuelles sur un ensemble d’indicateurs)

SIAADéfis de l’évaluation des effets

Gestion de la collecte de données à travers la province

Retour rapide de résultats aux écoles

SIAA

Conclusion La bonne nouvelle, c’est qu’on a eu le contrat

d’évaluation (capacité de fonder les pratiques efficaces; de mesurer de près l’effet des programmes sur les différents types de jeunes, échantillon unique, etc.)

La mauvaise nouvelle, c’est qu’on a eu le contrat (démesure des attentes, des possibles, de la gestion, de la synthèse, etc.)