Embed Size (px)
Citation preview
Processus de macro-régulation : impact des modalités du recueil de données sur l’efficacité et l’équité
XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004
Pascal Detroz Assistant de recherche
Muriel Delforge Faculté Polytechnique de Mons
Le fichier de cette présentation est téléchargeable sur le site web du
SMART-ULg :
http://www.smart.ulg.ac.be/congres/amse2004/
Méthodologie « SMART »
(Gilles & Leclercq, 1996)
1. Analyse desobjectifs de
l’enseignement
- Points Enseignés- Catégories de
Performances- Priorités
4. Entraînement
6. Correction etdiscussion
- performances- analyse des
propositions,contrôle qualité aposteriori : rpbis,rectifications
7. Feed-backaux examinés
- FB « matières »,« processusmentaux » et« métacognitifs »
- infos surl’analyse desquestions
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
8. Macro régu-lation (recueil desavis des étudiants)
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
CycleSMART de
réalisation des évaluations
Un cycle de réalisation des évaluations en 8 étapes :Un cycle de réalisation des évaluations en 8 étapes :
L’évaluation des enseignements : Une stratégie gagnante
L’exemple de la Faculté de Psychologie et des Sciences de l’Education : Les feedbacks
En analysant les questions suivantes relatives aux feedbacks donnés aux étudiants après les examens …
• 2.11 L’étudiant peut obtenir des explications sur la qualité de ses réponses• 2.12 Les résultats (points ou grades) sont affichés • 2.13 Pour les écrits, les corrections ont été communiquées en temps utile
… on constate qu’en 1997-1998, ces items constituaient les pointsfaibles de l’évaluation des examens.
Après de nombreux efforts conjoints de la Faculté et du SMART, une très nette amélioration a été constatée.
Faculté FAPSE - Evalution des examens en première candidature
1
1,5
2
2,5
3
3,5
4
4,5
5
5,5
6
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
2.12
2.13
QuestionsMoyenne pour chaque question en 2001-2002 Moyenne générale en 2001-2002
Moyenne pour chaque question en 2000-2001 Moyenne générale en 2000-2001"
Moyenne pour chaque question en 1999-2000" Moyenne générale en 1999-2000
moyenne pour chaque question en 1998-1999 Moyenne générale pour chaque question en 1997-1998
L’évaluation des enseignements : Une stratégie gagnante
L’évaluation des enseignements : Les jalons institutionnels
• L’évaluation de la qualité de l’enseignement dans les institutions universitaires de la communauté française de Belgique (11 mars 1997).
• La déclaration de Bologne « L’espace européen de l’enseignement supérieur » (19 juin 1999).
• Le décret créant l’agence pour l’évaluation de la qualité de l’enseignement supérieur organisé ou subventionné par la communauté française (14 novembre 2002).
• Le décret définissant l’enseignement supérieur, favorisant son intégration à l’espace européen de l’enseignement supérieur et refinancant les universités (23 mars 2004).
L’évaluation des enseignements : Analyse de cas - FMPs
La FPMs :
• Institution monofacultaire de petite taille (1100 étudiants)
• Formation d’Ingénieur civil, forte composante « entreprise »
• Très influencé par la procédure qualité issue du monde industriel
F a c u l t é P o l y t e c h n i q u e d e M o n s
L’industrieL’industrie
La procédure QualitéInspiration
Processus
Ensemble de moyens et d’activités qui transforment les éléments entrants en éléments sortants
ATTENDU PERCU
Satisfaction du client
VOULU REALISEConformité
Pro
duit
s en
tran
ts
Pro
duit
s so
rtan
ts
L’évaluation des enseignements : Analyse de cas : FPMs
La FPMs : Deux voies d’évaluation
• Le enquêtes pédagogiques (avis des étudiants, papier crayon). • Elles existent depuis une quinzaine d‘années• Elles sont annuelles • Elles sont sanctionnantes• L’échelle utilisée est sous la forme ++, +, N, -, --
• La procédure qualité• Existe depuis 1998• Formative• Plus fouillée• Analyse des « faits quantitatifs » (inscription, taux de réussite, flux, …)• Comité de concertation (étudiants, Doyen, cellule qualité, …)
L’évaluation des enseignements : Analyse de cas : ULg
L’ULg : Historique
• Avant 1990, apanage de volontés individuelles ou émanent des étudiants
• Première enquête pédagogique en mai 1991
• En 1995-1996, acquisition d’un lecteur optique de marques
• En 1997, une commission interfacultaire d’Evaluation des Enseignements
• En 1997-1998, 400 cours sont évalués
• En 2000-2001, naissance du SMART et subsidiation de l’ULg
• En 2002-2003, première maquette du projet EEEVI (Evaluation des Enseignements par les Etudiants via Internet)
• En 2003-2004, finalisation d’EEEVI
• Aujourd’hui, environ 1.500 cours et 60.000 feuilles lues par an
L’évaluation des enseignements : Analyse de cas : ULg
L’ULg : Description des structures
Quatre types de structure régulent la procédure Evalens
• La commission interfacultaire « Evaluation des enseignements »
• Le SMART
• Les conseils des études facultaires
• Les secrétariats facultaires
Sans oublier, évidemment, les étudiants et les enseignants
Conseil général des études
Commission permanente Evalens
Rapports de la commission Conseil d’administration
Huit facultés
SMART
Ancrage institutionnel de l’évaluation des enseignements
L’évaluation des enseignements : Analyse de cas : ULg
L’ULg : Méthodologie
Régie par une circulaire émanant de la commission interfacultaireEvalens et votée au Conseil d’Administration du 20 mars 2002.
Cette circulaire préconise :
• d’évaluer chaque enseignement au moins tous les quatre ans, • de séparer l’évaluation des cours et des examens
(calendrier => validité), • d’utiliser un questionnaire commun à toutes les Facultés,• de fournir les feedbacks aux étudiants concernés et au doyen,• d’organiser une réunion spéciale du Conseil des Etudes pour analyser les résultats publics,• d’autoriser le doyen à régler un problème éventuel avec les personnes impliquées,• de veiller à la mise en place effective du Comité de Pilotage Interfacultaire ;• d’assurer un retour des résultats de ces évaluations vers les
étudiants
3. Les questionnaires d’évaluation des enseignements à L’université de Liège
3c. Les questionnaires d’évaluation des enseignements à L’université de Liège : Le questionnaire « évaluation des examens »
1. Évaluation des examens SO 1 2 3 4 5 6
2.1 L’entraînement à la procédure d’évaluation avant l’examen était suffisant .......................................... 2.1 1 1 1 1 1 1 1 0
Les exigences de l’enseignant sont présentées aux étudiant(e)s … 2.2 … clairement ................................................................................................................................................... 2.2 1 1 1 1 1 1 1 0 2.3 … en temps utile ............................................................................................................................................. 2.3 1 1 1 1 1 1 1 0
2.4 Le mode d’évaluation (QCM, oral, écrit, travaux personnels, …) est adéquat ...................................... 2.4 1 1 1 1 1 1 1 0 2.5 L’horaire fixé pour l’examen est respecté .................................................................................................. 2.5 1 1 1 1 1 1 1 0 2.6 La durée de l’examen est suffisante ............................................................................................................ 2.6 1 1 1 1 1 1 1 0 2.7 Les questions de l’examen sont clairement formulées ............................................................................ 2.7 1 1 1 1 1 1 1 0 2.8 La procédure d’examen recouvre bien toute la matière ........................................................................... 2.8 1 1 1 1 1 1 1 0 2.9 L’examinateur(trice) est impartial(e) ........................................................................................................... 2.9 1 1 1 1 1 1 1 0 2.10 L’examinateur(trice) adopte une attitude correcte à l’égard de l’étudiant(e) .................................... 2.10 1 1 1 1 1 1 1 0
Après l’examen … 2.11 … l’étudiant(e) peut obtenir des explications sur la qualité de ses réponses .................................. 2.11 1 1 1 1 1 1 1 0 2.12 … les résultats (points ou grades) sont affichés en conformité avec le règlement facultaire ....... 2.12 1 1 1 1 1 1 1 0 2.13 … pour les écrits, les corrections ont été communiquées en temps utile ........................................ 2.13 1 1 1 1 1 1 1 0
4. Les feedbacks confidentiels : Les donnéesU N I V E R S I T E D E L I E G E
Evaluation des enseignements - Données confidentielles
Faculté EGSS - Gestion de l'entreprise (2002-2003)
Tableau des moyennes pour le cours codé ED062H Nombre d'étudiants : 21
Les chiffres qui figurent dans les cases indiquent le nombre de cours qui récoltent la moyenne correspondant à la case. Les cases grisées indiquent les moyennes obtenues par le cours codé ED062H.
Formule adoptée pour ce cours : (% des réponses cochées)86% ex cathedra 5% discussions 0% exposés étu. 24% t.p. 5% conférences
Moyennes des avis
Préalables : modalités d'organisation du cours Jamais Toujours SO NulTous les cours prévus ont été donnés 1 1 5 0 2Le professeur était présent 2 5 0 1Le professeur était ponctuel (début, fin des séances) 3 4 0 1
1 2 3 4 5 61. Evaluation du cours SO Nul1.1 Les objectifs sont clairement définis (explicités) 1 1 1 3 1 0 2
Vous avez fait des PROGRES en …1.2 ...connaissances 1 2 3 1 0 11.3 ...méthodes 1 2 1 3 1 2
1.4 Le cours oral est bien structuré et clair 1 3 3 0 21.5 Le cours écrit (syllabus, livre, …) est bien structuré et clair 1 2 4 1 11.6 La charge globale de travail est adaptée au volume horaire 1 2 3 1 0 11.7 Le professeur rend la matière attrayante 1 2 3 1 0 21.8 Le professeur a une bonne élocution (débit, puissance vocale) 1 4 2 0 11.9 Le professeur fait participer les étudiant(e)s au cours oral 2 1 3 1 2 11.10 Le professeur et/ou ses collaborateurs est (sont) disponible(s) pour répondre 1 5 1 0 1
aux questions1.11 Les documents pédagogiques (transparents, vidéo, multimédias) facilitent 3 3 1 7 2
la compréhension1.12 Cet enseignement m'a permis de m'améliorer dans une langue étrangère 2 1 1 1 1 1 11 51.13 Le poids ECTS accordé à cet enseignement est adéquat 4 2 1 8 9
Quant aux évaluations / exercices corrigés en cours d'année …1.14 … ils étaient en nombre suffisant 3 1 1 1 4 91.15 … ils m'ont procuré des informations utiles 1 2 1 1 1 4 81.16 … j'obtiens des explications sur la qualité de mes réponses 2 3 1 1 8 81.17 … les corrections ont été communiquées en temps utiles 2 1 1 2 1 6 91.18 … le local était adéquat 2 3 2 6 8
5,51,5 2,5 3,5 4,5
4. Les feedbacks confidentiels : Les données (explication)
L’évaluation des enseignements : Perspectives
D’une approche formaliste vers une approche naturaliste :• Evaluation administrative et évaluation formative• Importance de l’enjeu de l’évaluation• Validité et fidélité
Centra, 1993 -> L’évaluation régule l’enseignement si :• L’information est nouvelle• L’enseignant y apporte du poids• Il doit savoir comment faire pour s’améliorer• Il doit être motivé à faire des améliorations
Apports des nouvelles technologies et de l’Internet : EEEVI
Démonstration du logiciel : mode étudiant et mode professeur quelques copies d’écran
Présentation du logiciel d’Evaluation des Enseignements par les Etudiants Via Internet (EEEVI – version 1.0) - 18/11/02
L’évaluation des enseignements : Impact des TIC sur la qualité
• Module générale : évaluation administrative• Modules à choisir ou non : évaluation formative
Modules et Items validés par la recherche(fb uniquement enseignant)
L’évaluation des enseignements : Impact des TIC sur la qualité
La charge de travail :• En présentiel• A distance
Le taux de réponses :• Taux de réponses et questionnaire électronique :
(Rege Colet, 2002 ; Carini, 2003)• Obligations ?• Représentation des étudiants (Thivierge et Bernard, 1996)• Vers une meilleure communication
Le lien avec l’anonymat : • Respect de l’anonymat en présentiel• Respect de l’anonymat à distance
L’évaluation des enseignements : Impact des TIC sur la qualité
Variations des réponses en fonction de la modalité utilisée
• Carini et al. 2003• Réponses en moyenne légèrement plus favorables dans le cas de l’enquête électronique• Forte différence quand le thème abordé a trait aux nouvelles technologies
• Sax et al. 2003• Pas de différences entre les filles et les garçons• Différences importantes en fonction de l’origine ethnique
• Vigilance historiquement nécessaire en évaluation des enseignements
Ainsi, Carson (2001) note que, à conditions égales, les filles sont plus enclines à produire des évaluations positives que
les garçons
