Outils d’observation et d’évaluation utilisés dans le cadre de quatre programmes de...

Outils d’observation et d’évaluation utilisés dans le cadre de quatre

programmes de recherche-action en langues germaniques

Germain SIMONS Florence VAN HOOF

Ecole doctorale en didactique des langues, des littératures et des cultures.

Liège, 23 avril 2007

Au menu de l’exposéAu menu de l’exposé

I. Brève présentation des recherches réalisées par l’équipe lors des dix dernières années1.1. Domaines de recherches abordés1.2. Quatre grands axes sur lesquels nous avons travaillé pour optimiser l’approche communicative1.3. Caractéristiques de ces différentes recherches1.4. Bilan de ces recherches

II. Description et commentaire critique de différents outils destinés à récolter des données et à mesurer des résultats dans le cadre de différents programmes de recherche-action

I. Brève présentation des recherches réalisées par l’équipe

lors des dix dernières années

1996-1997 : la gestion de l’hétérogénéité et les stratégies de compréhension à la lecture (anglais/néerlandais).

Chercheurs : J. Beckers, G. Simons.

2000-2002 : l’identification et l’optimisation des stratégies de communication en expression orale (anglais).

Promoteurs : J. Beckers, G. Simons, M. Dahmen, C. Tyssens.

Chercheurs : N. Seron, V. Doppagne, A. Hertay.

1.1. Domaines de recherche abordés1.1. Domaines de recherche abordés

2002-2004 : l’apprentissage en tandem et la problématique de l’interculturel (néerlandais).

Promoteurs : J. Beckers, G. Simons, M. Dahmen, R. Halink.

Chercheurs : F. Van Hoof, A. Hertay, D. Hendrix.

2004-2006 : l’apprentissage d’une langue étrangère en accès-libre (anglais/allemand).

Promoteurs : J. Beckers, G. Simons, M. Dahmen.

Chercheurs : V. Devreux, B. Monville.

A l’exception de la première, toutes ces recherches ont été financées par la Communauté française.

1.2. Quatre grands axes sur lesquels nous avons 1.2. Quatre grands axes sur lesquels nous avons travaillé pour optimiser l’approche communicativetravaillé pour optimiser l’approche communicative

A. Critiques à l’encontre de l’approche communicative

Depuis quelques années, certains chercheurs émettent des critiques, parfois sévères, à l’encontre de l’approche communicative, du moins de sa première version, Krashénienne :

« In throwing out contrastive analysis, feedback on error, and metalinguistic explanations, the ‘communicative revolution’ may have gone too far. » (Spada, Lightbown, 1999 ; 2006)

Certains chercheurs parlent d’ailleurs d’une ‘ère post-communicative’ (Blondin, 1997), et de la nécessité d’atteindre un ‘nouvel éclectisme’ (Puren, 1999).

B. B. Quatre grands axes sur lesquels nous avons travailléQuatre grands axes sur lesquels nous avons travaillé

1. Augmenter la quantité et la qualité de l’input auquel les élèves sont exposés ainsi que les opportunités d’output en modifiant le mode de gestion de classe mais pas le volume horaire de cours.

= apprentissage en tandem ; accès-libre.

2. Identifier, expliciter et exercer les stratégies de compréhension et de production afin de rendre les élèves plus autonomes.

= stratégies de compréhension à la lecture ; stratégies de communication ; accès-libre.

3. (Ré)introduire une phase d’observation réflexive dans l’approche communicative (Kolb, D., 1984 ; Kohonen, V., 1990 ; Simons, G., 2001).

= stratégies de communication.

4. Travailler sur la différenciation de l’apprentissage.

= gestion de l’hétérogénéité ; accès-libre.

1.3. Caractéristiques de ces différentes 1.3. Caractéristiques de ces différentes recherchesrecherches

Equipes pluridisciplinaires : un didacticien spécialiste (langues et littératures germaniques), un didacticien généraliste (pédagogue) + autres spécialistes en fonction du type de recherche.

Equipes de recherche composées de responsables de la formation initiale et continuée.

‘Recherche-action’ : travailler avec les enseignants, dans leurs classes, pour leurs élèves et pour eux.

Attention : il ne s’agit pas pour autant de devenir le ‘touring-secours didactique’ des enseignants avec des réponses ponctuelles ‘clefs sur porte’.

Modèle d’implantation des innovations utilisé dans les différentes recherches est inspiré du modèle de T.R. Guskey (1989).

A model ot the process of teacher changeA model ot the process of teacher change (Guskey, T.R., 1986)(Guskey, T.R., 1986)

Staff training Change in teachers’

classroom practices

Change in student learning outcomes

Change in teachers’ attitudes and perceptions

Nombreuses séances de régulation avec les enseignants en cours de recherche.

Au terme des programmes de recherche, conception d’outils de diffusion pour toucher un plus grand nombre d’enseignants :- dossiers pédagogiques + vade-mecum- vidéogrammes- CD-Rom-…

Essayer d’impliquer les enseignants qui ont participé aux programmes de recherche dans les séances de formation continuée (témoins privilégiés, souvent plus crédibles, auprès de leurs collègues, que les chercheurs).

Schéma global des 4 programmes de rechercheSchéma global des 4 programmes de recherche

Besoins/demandes(enseignants, inspecteur)

• Lecture de lalittérature scientifique• Enquêtes réalisées auprès d’enseignants/ d’élèves• Réflexion surce problème • Conception du

projet expérimental• Présentation du projet aux enseignants• Adaptations/modifications

• Pré-tests• Mise en pratique du traitementdidactique par les enseignantsdans leurs classes• Observation par leschercheurs

Evaluation(post-tests)

Outils de diffusion + formations

1. Par rapport au type de recherche (recherche-action) et aux partenaires impliqués

Recherche-action = très lourd mais très riche. Travail en équipe pluridisciplinaire = lourd mais riche. Travail en collaboration avec des représentants de

l’inspection/de la formation continuée = indispensable mais lourd.

Diffusion des outils de la recherche au plus grand nombre d’enseignants = indispensable mais parfois décevant.

Recours aux enseignants ayant participé aux recherches comme témoins lors de formations continuées = assez efficace.

…

1.4. Bilan de ces recherches1.4. Bilan de ces recherches

2. Par rapport au public-cible (élèves) Regret : même si nous avons travaillé avec quelques

classes de l’enseignement technique et professionnel, la grande majorité des classes = enseignement général dans le futur : enseignement technique et professionnel.

3. Par rapport aux conclusions de ces recherches Toujours difficile d’interpréter les résultats de ces

recherches tant il y a de variables qui entrent en ligne de compte.

Quid des effets à moyens et à long termes de ces innovations pédagogiques ?

II. Description et commentaire critique de différents outils

destinés à récolter des données

et mesurer des résultats

Questionnaires (élèves/enseignants) et les interviews/ discussions (élèves/enseignants).

Carnets de bord (élèves/enseignants). Pages FTP (Internet). Portfolio (élèves).

Observations des classes avec grilles, assistées ou non par la vidéo.

Tests linguistiques, culturels, liés à l’autonomie (pré- et post-tests).

2.0. Outils en vrac2.0. Outils en vrac

2.1. Les questionnaires et les interviews2.1. Les questionnaires et les interviews

Différents types de questionnaires utilisés : fermés, ouverts, mixtes.

Différents objectifs : - faire une ‘photographie’ d’une pratique didactique à un

moment précis (professeurs et élèves)- identifier les représentations des élèves/enseignants sur une

problématique ciblée avant de mettre en place un dispositif didactique

- mesurer le dégré de satisfaction des élèves/enseignants au terme d’une recherche

- …

A. Les questionnaires

Remarques

CommentairesCommentaires

Pas la panacée : un outil parmi d’autres. Ni trop long, ni trop dense. Nécessité de pré-tester les questions avant sur un petit

groupe d’élèves ‘similaires’ + debriefing avec les élèves.

Dans les Q.C.M., veiller à n’avoir qu’une information par question.

Pour les questionnaires fermés : échelle à 4 niveaux pour inciter le répondant à faire un choix sinon ‘tendance centrale’.

B. Les interviews/discussionsB. Les interviews/discussions

Interviews Avec questions précises ou pas ; formule mixte. Comme pour les questionnaires, diverses fonctions :

- identification des représentations de départ- aide à la régulation en cours de recherche- évaluation au terme de la recherche- …

Discussion avec le groupe des enseignants

Avantage : rapidité + les enseignants peuvent ‘rebondir’ sur ce qui a été dit par quelqu’un d’autre.Inconvénient : certains s’expriment trop, d’autres pas (assez).

CommentairesCommentaires

Pas la panacée : une source d’information parmi d’autres.

Très lourd (interviews) sélectionner un certain nombre de sujets. Sur quelle base ?

Problème de la trace : nécessité d’enregistrer ou d’être à deux (un chercheur anime l’entretien, l’autre prend des notes). Lourdeur des transcriptions intégrales.

…

2.2. Les carnets de bord (CB)2.2. Les carnets de bord (CB)

CB des élèves et CB des enseignants Utilisés principalement dans trois recherches : les

stratégies de communication, l’accès-libre et l’apprentissage en tandem.

Intérêt : le CB permet de conserver une trace précise de ce qui s’est fait dans les classes permet une analyse des progrès des élèves à la lumière de ces activités.

Autre intérêt : peut être utilisé pour illustrer l’outil de diffusion.

Remarques

Succès très mitigé. CB des professeurs : apparaît aux yeux de beaucoup

d’enseignants comme une surcharge administrative Solution : les chercheurs remplissaient les CB lors des réunions de régulation, mais ce n’était pas aussi précis.

CB des élèves : relativement peu de succès. Les élèves sont davantage focalisés sur le résultat de l’apprentissage que sur le processus.

Commentaires

2.3. La page FTP2.3. La page FTP

Recherche Tandem : pour résoudre le problème de la lourdeur administrative des CB évoquée par les professeurs, nous avons créé une page FTP.

Les enseignants pouvaient ‘déposer’ des documents utilisés dans leurs classes et télécharger des documents d’autres enseignants.

Description

Intérêt : moins lourd administrativement si le professeur utilise l’outil informatique.

Permet aussi aux professeurs d’avoir des idées d’activités avant les réunions de régulation.

ET pourtant… succès mitigé. Pourquoi ?

1) introduction tardive par l’équipe de recherche ;

2) certains professeurs peu familiarisés avec l’outil informatique ;

3) certains enseignants peu enclins à partager leurs idées d’activités avec leurs collègues.

Commentaires

2.4. Le portfolio2.4. Le portfolio

Testé exclusivement dans la recherche sur l’apprentissage en tandem.

Sorte de recueil de lettres/mails/documents envoyés/reçus au/du partenaire de tandem.

Introduit lors de la 2e année de recherche pour que le professeur puisse conserver un certain contrôle sur le travail réalisé par les élèves (quantité d’échanges et correction de la langue).

Description

Plus de succès en 4e qu’en 6e où cette démarche était perçue, par certains élèves, comme puérile.

Commentaires

2.5. Observation par les chercheurs2.5. Observation par les chercheurs

Différents types d’observation :- avec grille/sans grille ; avec caméra/sans caméra - ciblant l’enseignant, les élèves, les interactions

prof/élèves, élèves/élèves Objectif : aller au-delà des témoignages des

profs/élèves pour voir ce qui se fait vraiment en classe. Parfois, on observe un fossé entre le discours des enseignants/élèves et les pratiques observées en classe permet des ‘recadrages’.

Description

- Intérêt de la vidéo : trace qui peut être revisionnée autant de fois que l’on veut et utilisée dans le cadre de l’outil de diffusion.

- Inconvénient : biais créé par la présence des chercheurs et, a fortiori, par la caméra peut motiver ‘excessivement’ les élèves, ou, au contraire, les inhiber.

Commentaires

2.6. Tests (pré- et post-)2.6. Tests (pré- et post-)

- En fonction des recherches : foyer linguistique (CL, CA, EE, EO, SSFL), foyer culturel, foyer stratégique, foyer relatif à l’autonomie des élèves.

- Utilité : permet, en principe, d’établir s’il y a une progression ou non chez les élèves entre le début de la recherche (pré-test) et la fin (post-test).

- Le plus souvent : conception collégiale (chercheurs + promoteurs, parfois sur la base de propositions d’enseignants).

- Avec ou sans groupes de contrôle.

Description

Très lourd à organiser, surtout pour l’expression orale.

Indispensable de penser directement à la grille d’évaluation critériée.

Indispensable d’avoir les mêmes conditions de réalisation pour tous les élèves : mêmes instructions, même temps de réalisation, même aide éventuelle, etc.

Indispensable de procéder à un testing avant d’administrer les tests.

Commentaires

Les résultats ne sont pas toujours faciles à interpréter : les progrès observés sont-ils vraiment liés au dispositif expérimental mis en place et/ou…

- au degré de difficulté des pré- et post-tests- au reste du cours donné par le professeur- à la motivation des élèves/profs : font partie d’une

recherche ‘boostés’ pas vraiment naturels.- …

Incite à être extrêmement PRUDENT dans l’interprétation des résultats.

Commentaires (suite)

2.7. Synthèse2.7. Synthèse

Toujours tester les outils avant utilisation.

Carnets de bord destinés aux enseignants : très peu convaincants.

Portfolio élèves : pas encore bien ancré dans notre culture, peut-être plus adapté au secondaire inférieur.

Etre très prudent dans l’interprétation des résultats. Bien se garder de généraliser les résultats à d’autres

contextes. Quid des effets à moyens et à longs termes de ces

innovations pédagogiques ?

AnnexesAnnexes

1. Recherche sur 1. Recherche sur la gestion de l’hétérogénéitéla gestion de l’hétérogénéité et et les stratégies de compréhension à la lectureles stratégies de compréhension à la lecture

A. Objectifs- faciliter l’insertion professionnelle de jeunes enseignants à

travers un programme de recherche-action correspondant à un besoin ressenti ;

- tester un système mixte de gestion de l’hétérogénéité : travail individuel, travail en groupe-classe, travail en petits groupes hétérogènes, travail en groupes homogènes ;

- améliorer la performance des élèves en compréhension à la lecture en travaillant avec eux des stratégies de compréhension à la lecture.

B. Grandes étapes de la démarche1. Séminaires d’information sur cette double problématique.2. Conception collégiale d’une séquence didactique

expérimentale.3. Pré-tests.4. Mise en pratique de la séquence par la moitié des enseignants

dans leurs propres classes ; l’autre moitié observe, prend des notes, filme.

5. Séminaires de régulation amélioration de la séquence. 6. Mise en pratique de la séquence améliorée par l’autre moitié

des enseignants.7. Séminaires de régulation…8. Post-tests.9. Retour réflexif des jeunes enseignants sur la recherche :

rédaction d’un article et participation à des conférences/formations.

C. Principaux résultats1. Post-tests : montrent un progrès manifeste des élèves

dans l’utilisation des stratégies de compréhension à la lecture.

2. Le questionnaire de satisfaction des élèves montre que ceux-ci sont globalement ‘satisfaits’ à ‘très satisfaits’.

3. L’interview des jeunes enseignants : séquence très ‘chronophage’ mais le bilan est très positif.

4. Travail simultané de quatre groupes homogènes : peut fonctionner, mais perte de temps considérable avant que les élèves commencent à travailler.

5. Travail en petits groupes hétérogènes : peut s’avérer efficace si on a prévu a) un incitant à la collaboration ; b) un double critère pour la constitution des groupes : niveau de maîtrise et affinité.

2. Recherche sur l’optimisation de l’expression orale à 2. Recherche sur l’optimisation de l’expression orale à travers travers l’apprentissage des stratégies de l’apprentissage des stratégies de communicationcommunication

A. Objectifs- identifier les stratégies de communication les plus fréquemment utilisées par les élèves ;- lutter contre l’abandon de la communication en mettant en place une séquence didactique expérimentale articulée autour de trois stratégies de communication : le mime, la demande d’assistance dans la langue étrangère, la paraphrase ;- tester une approche méthodologique articulée autour de deux concepts-clés : la situation-problème et le ‘notice the gap’.

B. Grandes étapes de la démarche1. Placer les élèves dans une situation de communication

donnée : ‘Perdus dans la forêt tropicale’ (sans préparation). Tâche: choisir trois objets à emporter sur cette île.

2. Par groupes de deux : argumenter sur ce qu’ils vont emporter et arriver à une décision commune Tous les duos sont intégralement filmés (pré-test).

3. Grâce au support vidéo, identifier a) la fréquence des stratégies et b) leur relative efficacité.

4. Mise en place de la séquence expérimentale : - Les élèves visionnent un montage-vidéo réalisé sur la base

du pré-test et découvrent l’existence de stratégies de communication et leur (in)efficacité.

- Enseignement des stratégies efficaces + des fonctions langagières ayant fait défaut lors de la situation de départ.

5. Post-test : ‘Perdus en mer’ (intégralement filmé).

C. Principaux résultats1. Stratégies les plus fréquemment utilisées : l’abandon (partiel)

du message, le recours à la langue maternelle (emprunt), la demande d’assistance en français.

2. Fin de la recherche : beaucoup moins d’abandon, plus de paraphrases et de demandes d’assistance dans la langue étrangère.

Selon les enseignants : séquence qui a ‘débloqué’ considérablement les élèves faibles en expression orale.

4. Les élèves ont particulièrement apprécié la phase d’immersion dans le problème (pré-test) et la démarche de découverte des stratégies de communication sur la base du montage-vidéo.

3. Recherche sur 3. Recherche sur l’apprentissage en tandeml’apprentissage en tandem et la et la problématique de l’interculturelproblématique de l’interculturel

A. Objectifs - identifier les représentations des élèves à l’égard des Pays-Bas et de ses habitants- identifier les pré-acquis des élèves en matière de ‘culture pragmatique’ du pays-cible (Pays-Bas et Belgique)- faire évoluer ces représentations et connaissances par le biais de l’apprentissage en tandem- tester l’apprentissage en tandem et son intégration au cours de langue étrangère- exercer les 4 macro-compétences à travers l’apprentissage en tandem

B. Grandes étapes de la démarche1. Séries de pré-tests (linguistique, culturel, autonomie).2. Prise de contact avec les écoles partenaires et négociation

du projet de recherche.3. Présentation des classes partenaires par ‘posters’.4. Constitution des tandems sur la base de ‘fiches

d’identification personnelle’.5. Echanges de lettres, d’e-mails et d’autres documents

(articles de presse, émissions TV…) entre partenaires de tandem : ‘passages obligés’ et ‘passages libres’.

6. Visites dans les deux pays : préparation d’activités réalisées en classe et dans la ville.

7. Séries de post-tests (linguistique, culturel, autonomie).

C. Principaux résultats1. Sur le plan culturel : image plus précise et globalement

plus positive du pays et de ses habitants (dans les deux sens) mais, parfois, on observe des ‘surgénéralisations’ liées à l’expérience vécue dans le pays-cible.

2. Sur le plan linguistique : progrès des élèves en expression orale (plus de vocabulaire et utilisation plus fréquente de stratégies de communication).

4. L’apprentissage en 4. L’apprentissage en accès-libre (A.-L.)accès-libre (A.-L.)

A. Objectifs Evaluer l’efficacité d’un dispositif, l’A.-L., mis en place

depuis plusieurs années par l’inspection de la Communauté française.

Proposer des modifications pour l’optimiser.

B. Grandes étapes de la démarche Vaste enquête (questionnaire + interview) menée auprès

des enseignants et des élèves pour faire une ‘photographie’ de l’A.-L. + observations par les chercheurs dans les classes.

Evaluation de la maîtrise de la compréhension à l’audition et à la lecture chez les élèves ayant des séances d’A.-L. (groupe expérimental) et chez des élèves n’en ayant pas (groupe-contrôle).

2e année :Sur la base de l’enquête et des observations : propositions d’aménagements de l’A.-L.

C. Principaux résultats Bien que tous les professeurs travaillent en A.-L. depuis des

années, on se rend compte qu’il y a des acceptions très différentes de l’A.-L. Ceci est confirmé par les observations des chercheurs qui montrent de grosses différences d’application de l’A.-L. dans les classes.

Pas de différences manifestes entre les élèves du groupe expérimental et ceux du groupe-contrôle au niveau de la compréhension à l’audition et à la lecture… MAIS peu de séances d’A.-L.

Les fiches d’A.-L. sont incomplètes en ce qui concerne le niveau de difficulté, le type de lecture ciblé et les stratégies mobilisées.

Il n’y a pas de lien entre les heures d’A.-L. et les autres heures du cours.

Nécessité de compléter cette approche quantitative par une approche qualitative, notamment en travaillant sur les stratégies de compréhension à la lecture/à l’audition.

Structure temporelle de la 5e leçon : Structure temporelle de la 5e leçon : travail en groupes homogènestravail en groupes homogènes

13h25’ : entrée

(3’)

13h28’ : rappel des gains (pré- post-tests) et des bonus

(7’)

13h35’ : constitution des groupes et consignes

(9’)

13h44’

13h44’14h13’14h13’

T

O

T

A

L

(19’)

(29’)

Interactions professeur/élèves et élèves/élèves Interactions professeur/élèves et élèves/élèves pendant la 5e leçon : travail simultané de 4 groupes pendant la 5e leçon : travail simultané de 4 groupes

homogèneshomogènesTN

P

TN

Gr I : élèves qui sont avancés depuis le pré-test

Gr II : élèves qui maîtrisent les stratégies

Gr III : élèves qui ont toujours de grosses difficultés

Gr IV : élèves qui ont besoin d’ex. supplé.

P : professeur

LEGENDE :

TN : tableau noir

Gr I A

Gr I B

Gr II A

Gr II C

Gr II B

Gr III

Gr IV

(1)13h44’

(2)13h50’

(3 et 4)13h55’

(5)14h05’

(6) 14h06’