Comment évaluer limpact dun dispositif dapprentissage par projet/problème sur lapprentissage des étudiants ? Chaire de pédagogie universitaire B. Galand,

Comment évaluer l’impact d’un dispositif

d’apprentissage par projet/problème sur

l’apprentissage des étudiants ?

Chaire de pédagogie universitaire B. Galand, E. Bourgeois, M. Frenay, K.

Bentein

Avec la collaboration du groupe impactL. Bolle, C. Jacqmot, A. Laloux, E. Milgrom, B. Raucent,

C. Vander Borght, P. Wouters, délégués BdE

www.cpu.psp.ucl.ac.be 2

Limites des recherches existantes

Centration sur des variables individuelles (vs. situationnelles)

Définition rudimentaire des variables dépendantes (apprentissage)

Peu d’approches globales du rôle des variables indépendantes

Flou des construits théoriques et de leur opérationnalisation

Peu d’études longitudinales des effets Peu d’études en contexte européen,

francophone


Faculté des sciences appliquées UCL

Examen d’entrée Deux premières années communes

(candidatures), sauf architecture. Trois années de spécialisation

(techniques). Depuis septembre 2000, nouveau

programme.


Volets de l’étude Volet étudiants

Contrôles : sexe, âge, examen d’entrée, résultats

Enquête par questionnaire Epreuve de connaissance (1° techn)

Volet enseignants Enquête par questionnaire


Présentation

1. Candis 2000, le point de vue des enseignants.

2. Evaluation de l’impact de Candis 2000 sur les étudiants.


Statistiques

Tous les effets rapportés sont hautement significatifs…

… et obtenus au moyen des procédures standard utilisées dans ce type d’études.

Candis 2000, le point de vue des

enseignants

Résultats préliminaires

Chaire de pédagogie universitaire – Groupe impact

ENSEIGNANTS www.cpu.psp.ucl.ac.be 8

Questionnaire enseignants Contexte institutionnel Implication dans l’enseignement Pratiques d’enseignement Perceptions relatives aux étudiants Satisfaction professionnelle Impact de la réforme


Méthode Enquête « postale », questionnaire

anonyme, en avril 2002. A toute personne assurant tâche

d’encadrement ou d’enseignement en candis ou 1° technique.

101 réponses sur 253 envois, soit 40%.

Réponses très diversifiées (variance).


Implication dans l’enseignement Les enseignants qui ont vécu la

transition ont davantage modifié leurs pratiques travaillent plus en équipe.

Plus un enseignant participe à Candis 2000 depuis longtemps, plus il évalue ses « cours » plus il se forme.


Comparaison candis/1° techn. Pratiques pédagogiques

plus de pratiques aidantes en candis. plus de pratiques coopératives en

candis. Perceptions à propos des étudiants

plus participatifs en candis. moins motivés par des éléments

« externes » (ex.: diplôme, salaire, …) en candis.


Impact perçu de la réforme

Relations enseignants-étudiants

Relations entre collègues

Passage du 1er au 2ème cycle

Investissement Rôle d’enseignant Plaisir d’enseigner Image de la FSAIm age F SAPlaisirRôleInv est.PassageRel.Coll.Rel.P-E

Mo

yen

ne +

- 1

Eca

rt-T

ype

5,0

4,0

3,0

2,0

1,0


Impact perçu de la réforme

Compétences des étudiants

Ethique Travail en groupe Modélisation Transfert Analyse

IANALY SEITRANS FIM ODE LEITRAVG RIET HIQ UE

Mo

yen

ne +

- 1

Eca

rt-t

ype

5,0

4,0

3,0

2,0

1,0


Commentaires reçus Sur 101 réponses, 17 commentaires. Les problèmes les plus cités sont:

Problèmes organisationnels: coût en temps, gestion chaotique, moyens en personnel et formation (7).

Evaluations : fréquence, forme (5). Gestion des travaux de groupe (4). On ne met plus assez l’accent sur

certaines notions théoriques de base (3).


Contexte facultaire (1) Plus un enseignant estime bénéficier

d’un accompagnement pédagogique adéquat (ex.: IPM), plus il se sent efficace.

Plus un enseignant se sent efficace, plus il s’implique dans son

enseignement; plus il rapporte des pratiques centrées

sur l’apprenant.


Contexte facultaire (2) Plus un enseignant perçoit que

l’enseignement est valorisé dans sa faculté, plus il est satisfait d’exercer son métier; plus il a une vision + de l’impact de la réforme.

Par rapport au personnel académique, le personnel scientifique a une vision moins positive du contexte facultaire; s’implique moins dans l’enseignement.


Discussion des résultats La réforme est liée à des changements de

pratiques conformes aux recommandations de la littérature scientifique.

L’impact perçu de la réforme est globalement positif.

Des problèmes de régulation sont signalés. Importance du contexte facultaire pour

l’implication des enseignants.

Evaluation de l’impact de Candis 2000 sur les étudiants

Résultats des deux premiers recueils de données

Chaire de pédagogie universitaire – Groupe impact

ETUDIANTS www.cpu.psp.ucl.ac.be 19

Objectif de cette évaluation

Caractériser de la manière la plus précise et objective possible l’impact de l’introduction de Candis 2000 sur les étudiants, par rapport aux objectifs fixés.


Plan de recherche

3° techn A

2° techn A B

1° techn A B C

2° candi B C E

1° candi C E

2001 2002 2003


Variables de l’étude Motivations (buts, self-efficacy) Perceptions du dispositif Méthodes de travail (auto-régulation) Stratégies d’étude Travail en groupe Quantité de travail Satisfaction


Méthode Choix des variables

Théories Objectifs de formation

Revue de la littérature Groupe d’experts Enseignants Prétest Analyses psychométriques


Cadres théoriques pour l’analyse des pratiques pédagogiques

Centrés sur l’apprentissage et le transfert : Travaux sur la « cognition située »

(Greeno, 1994; Brown, Collins & Duguid, 1989)

Centrés sur la motivation et l’engagement : Travaux de Deci & Ryan (Ryan,

Sheldon, Kasser & Deci, 1996 )


Construction de l’outil (1) Compilation d’items:

Ames et Archer (1988) ; Anderman et Young (1994) ; CUTL McGill, 1997 ; Frenay & Bedard, 2002 ; Galand, 2001 ; Meece, 1991 ; Ramsden, 1988 ; Roeser et al. (1996) ; …

Sélection par groupe d’experts Formulation avec enseignants Prétest (individuel + collectif)


Construction de l’outil (2) AFE par cadre théorique AFE sur tous les items restants +

cohérence interne Réplication sur un autre

échantillon AFC Validité convergente et divergente


Taux de réponse 2001-2002 2002-2003

inscrits réponses inscrits réponses

1° candi 376 292 391 262

2° candi 309 296 314 229

1° techn 297 170 253 133

Non précisé 17 26

TOTAL 982 775 (79%) 958 650 (68%)


Pratiques d’enseignement Transfert (6 items)

Ex.: … les enseignants nous montrent les applications pratiques possibles de notre formation ; … les enseignants utilisent des exemples concrets pour expliquer les concepts.

Evaluation (5 items) Ex.: … les notes que l’on obtient correspondent bien à

l’investissement fourni par les étudiants ; … le contenu des examens ou des interrogations est cohérent par rapport aux objectifs des enseignements.


Méthode de travail Sources d’information (4 items)

Ex.: Si je ne comprends pas bien un texte à étudier, j’essaie de trouver d’autres références sur le sujet.

Planification de l’étude (4 items) Ex.: J’établis un horaire de manière à répartir

adéquatement mon temps d’étude.


Stratégie d’étude Esprit critique (4 items)

Ex.: Je tire mes propres conclusions à partir des données présentées dans les enseignements.

Répétition (3 items) Ex.: J’essaie d’apprendre mot à mot le contenu

des cours.


Précision satistique Dans les analyses qui suivent, les

échelles obtenues ont été regroupées au moyen d’analyses factorielles de second ordre.


Comparaison en 1° technique Comparaison entre:

les étudiants de l’ancien programme; les étudiants du nouveau programme.

Enchantillons équivalents en termes de: Taux de participation. Motivations.


Perceptions de la formation en candis

Soutien académique Les étudiants issus du nouveau programme

disent avoir été beaucoup plus soutenus dans leur apprentissage (plus de liens entre théorie et applications, plus d’écoute et d’échanges).

Structure organisationnelle Les étudiants issus du nouveau programme

rapportent davantage de problèmes organisationnels (surcharge de travail, manque de cohérence).


Méthodes de travail en 1° techn Autonomie

Les étudiants issus du nouveau programme rapportent utiliser davantage de méthodes demandant un niveau élevé d’autonomie (surtout recherche d’infos et vérification).

Cette différence s’explique par leur perception du soutien académique en candis (+).

Concentration et persévérance Pas de différence


Programme Autonomie

Perception

Programme Autonomie

Perception


Stratégies d’étude en 1° techn Traitement en profondeur

Les étudiants issus du nouveau programme disent faire plus appel à des stratégies de traitement en profondeur (surtout esprit critique).

Cette différence s’explique par leur perception du soutien académique en candis (+).

Traitement en surface Les étudiants issus du nouveau programme

disent faire moins appel à des stratégies de traitement en surface (surtout étude par cœur).


Travail en groupe et Satisfaction Travail en groupe en 1° techn

Pas de différence concernant: support social entre étudiants, attitude face au travail en groupe, demande d’aide.

Satisfaction vis-à-vis de la formation en général Les étudiants du nouveau programme sont

légèrement moins satisfaits. Cette différence s’explique par leur

perception de la structure organisationnelle en candis (-).


Quantité de travail en 1° techn Heures de travail en dehors des séances

encadrées. Les étudiants du nouveau programme

rapportent plus d’heures de travail. Cette différence s’explique par leur perception

du soutien académique en candis (+). Fréquentations des activités académiques.

Les étudiants du nouveau programme rapportent une fréquentation plus élevée.

Cette différence s’explique par leur autonomie (+).


Et par rapport aux autres années?

Les différences entre les deux recueils de l’étude sont systématiquement plus grandes entre les deux techniques qu’entre les candis.


Exemples (1)

20022001

So

utie

n ac

adé

miq

ue

,4

,2

0,0

-,2

-,4

-,6

-,8

11

12

21

20022001

Au

tono

mie

,2

,1

0,0

-,1

-,2

-,3

-,4

11

12

21


Exemples (2)

20022001

Tra

item

ent e

n s

urfa

ce

,5

,4

,3

,2

,1

0,0

-,1

-,2

11

12

21

20022001

Fré

quen

tatio

n

9,4

9,2

9,0

8,8

8,6

8,4

8,2

8,0

7,8

11

12

21


Et par rapport aux autres années?

Les différences entre les deux recueils de l’étude sont systématiquement plus grandes entre les deux techniques qu’entre les candis.

Ceci soutient l’idée d’un effet de la réforme plutôt que d’une simple fluctuation annuelle.


A qui profite la réforme? Etudiants divisés en 4 sous-groupes

suivant leur profil motivationnel: A risque; Compétition; Apprendre;

Mixte Ce sont les étudiants qui ont le profil

le plus faible qui bénéficient le plus du nouveau programme.

Aucun sous-groupe n’est pénalisé.


Epreuve de connaissances

Construction de l’épreuve par des groupes d’enseignants de la FSA

Passation sur base volontaire (2h), chaque année

Correction des épreuves pour début 2004 avec une grille de correction élaborée lors de la rédaction des questions avec des enseignants FSA


Discussion des résultats (1) Sur une série de variables

documentées comme étant déterminantes pour la qualité des apprentissages, les étudiants du nouveau programme obtiennent des résultats supérieurs à ceux des étudiants de l’ancien programme.


Discussion des résultats (2) Ces différences se manifestent de manière

spécifique entre les groupes d’étudiants ayant suivi des programmes différents.

Ces différences sont attribuables à des changements dans la perception du dispositif de formation.

Ces changements vont dans le même sens que les pratiques rapportées par les enseignants.


Discussion des résultats (3) MAIS les étudiants du nouveau

programme soulignent une surcharge de travail et un problème de cohérence.

Ces problèmes ont des répercussions sur le niveau de satisfaction des étudiants.

Ces problèmes rejoignent ceux soulevés dans les commentaires des enseignants.


Discussion des résultats (4) Les aspects relatifs au travail en

groupe rapportés pas les étudiants ne paraissent pas avoir été affectés par la réforme.

La réforme a principalement bénéficié aux étudiants les plus vulnérables d’un point de vue motivationnel, et ce sans pénaliser d’autres types d’étudiants.


Implications pédagogiques (1) Renforcer les pratiques qui

permettent de faire des liens entre théorie et applications.

Renforcer les pratiques qui permettent une grande disponibilité des enseignants et des échanges soutenus avec les étudiants.


Implications pédagogiques (2) Améliorer la cohérence du

programme, entre autres dans le but de réduire la surcharge de travail des étudiants et des enseignants.

Améliorer la cohérence des évaluations.

S’interroger sur les modalités du travail en groupe ?


En guise de conclusion… Les résultats sont nets et

convergents. La portée des résultats de cette

recherche sera encore plus grande quand nous disposerons de l’ensemble des données.

Ces résultats ne constituent qu’un critère parmi d’autres pour évaluer une réforme.


Perspectives Prise en compte des variables de

contrôle, de l’épreuve critériée et du questionnaire enseignants

Analyses par clusters Etude qualitative

Transition secondaire / APP Analyses longitudinales Extansion à d’autres facultés

Documents

Comment évaluer limpact dun dispositif dapprentissage par projet/problème sur lapprentissage des étudiants ? Chaire de pédagogie universitaire B. Galand,