31
Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le Quatrième Journée d'étude LANSAD-DILTEC « LE TESTING »

Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Embed Size (px)

Citation preview

Page 1: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Le CECRL : un outil pour construire l’amont et l’aval

d’une politique des langues?

Ian Bell, Faouzia Benderdouche, Christine Demaison

29 janvier 2009 – Le Quatrième Journée d'étude LANSAD-DILTEC« LE TESTING »

Page 2: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Un dispositif de testing

Un test de positionnement en ligne Étude de validation Un exemple de pratique: du test au CLES

pour évaluer les doctorants de l’UPMC Projet européen HELP

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 3: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Le CECRL pour quels objectifs?

pour l’évaluation pour les pratiques d’enseignement pour la motivation des étudiants pour la formation des enseignants

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 4: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Testing : un défi pour les enseignants

Définition des objectifs du test La vérification de sa validité Son impact Sa faisabilité

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 5: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Le Test UPMCBonjour Jean-Paul Martin,Dans le cadre de votre positionnement en anglais l’Université Paris VI vous prie de trouver ci-dessous votre code d’accès. Ce code vous permet d’accéder au test d’évaluation réalisé en partenariat avec Vocable et LCCI IQ –The London Chamber of Commerce & Industry. Attention ! Le test s’effectue en 1h maximum, seul, sans dictionnaire ou autres supports. Chaque code d’accès ne peut-être utilisé qu’une seule fois. Sa durée de validité court jusqu’au ……. Dès que le test est lancé, vous n’avez droit qu’à un seul essai (en cas de difficultés, n’hésitez pas à nous adresser une nouvelle demande sur

[email protected] ...

Page 6: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Utilisateur Expérimenté

C2

Peut comprendre sans effort pratiquement tout ce qu'il/elle lit ou entend. Peut restituer faits et arguments de diverses sources écrites et orales en les résumant de façon cohérente. Peut s'exprimer spontanément, très couramment et de façon précise et peut rendre distinctes de fines nuances de sens en rapport avec des sujets complexes.

C1

Peut comprendre une grande gamme de textes longs et exigeants, ainsi que saisir des significations implicites. Peut s'exprimer spontanément et couramment sans trop apparemment devoir chercher ses mots. Peut utiliser la langue de façon efficace et souple dans sa vie sociale, professionnelle ou académique. Peut s'exprimer sur des sujets complexes de façon claire et bien structurée et manifester son contrôle des outils d'organisation, d'articulation et de cohésion du discours.

UtilisateurIndépendant

B2

Peut comprendre le contenu essentiel de sujets concrets ou abstraits dans un texte complexe, y compris une discussion technique dans sa spécialité. Peut communiquer avec un degré de spontanéité et d'aisance tel qu'une conversation avec un locuteur natif ne comportant de tension ni pour l'un ni pour l'autre. Peut s'exprimer de façon claire et détaillée sur une grande gamme de sujets, émettre un avis sur un sujet d'actualité et exposer les avantages et les inconvénients de différentes possibilités.

B1

Peut comprendre les points essentiels quand un langage clair et standard est utilisé et s'il s'agit de choses familières dans le travail, à l'école, dans les loisirs, etc. Peut se débrouiller dans la plupart des situations rencontrées en voyage dans une région où la langue cible est parlée. Peut produire un discours simple et cohérent sur des sujets familiers et dans ses domaines d'intérêt. Peut raconter un événement, une expérience ou un rêve, décrire un espoir ou un but et exposer brièvement des raisons ou explications pour un projet ou une idée.

UtilisateurÉlémentaire

A2

Peut comprendre des phrases isolées et des expressions fréquemment utilisées en relation avec des domaines immédiats de priorité (par exemple, informations personnelles et familiales simples, achats, environnement proche, travail). Peut communiquer lors de tâches simples et habituelles ne demandant qu'un échange d'informations simple et direct sur des sujets familiers et habituels. Peut décrire avec des moyens simples sa formation, son environnement immédiat et évoquer des sujets qui correspondent à des besoins immédiats.

A1

Peut comprendre et utiliser des expressions familières et quotidiennes ainsi que des énoncés très simples qui visent à satisfaire des besoins concrets. Peut se présenter ou présenter quelqu'un et poser à une personne des questions la concernant - par exemple, sur son lieu d'habitation, ses relations, ce qui lui appartient, etc. - et peut répondre au même type de questions. Peut communiquer de façon simple si l'interlocuteur parle lentement et distinctement et se montre coopératif.

Page 7: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Outils

Avant de commencer nous avons réuni plusieurs outils pour nous aider dans la conception, création et validation des tests :

• Le Manuel du CECRL• Le Manuel pour relier les examens de

langues au CECRL• Les Normes d’EALTA • Des outils statistiques

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 8: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

BÂTIR UN ARGUMENT…

Manuel pour relier les examens de langues au Cadre européen commun de référence pour les langues (CECRL)

Page 9: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

La Mission de EALTA

Le but poursuivi par EALTA est de promouvoir la compréhension des principes théoriques de l’élaboration de tests et de l’évaluation en langue ainsi que l’amélioration et le partage des pratiques concernant les tests et l’évaluation en Europe.

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 10: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Un certain nombre de principes généraux concernent directement ces groupes :

Le respect des étudiants /des candidats

La responsabilité

L’équité

La fiabilité

La validité

La collaboration entre les parties concernées

Page 11: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Quel est le but de l’évaluation ? Dans quelle mesure les procédures d’évaluation sont-elles adaptées aux apprenants ? Quels efforts sont consentis pour s’assurer que les résultats de l’évaluation sont exacts et équitables ? Quelle est la prise en compte du point de vue des étudiants sur les procédures d’évaluation ? Quelle(s) action(s) sera/seront entreprise(s) pour améliorer l’apprentissage ? Quel type de retour d’informations est fourni aux étudiants ?

Page 12: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Y a-t-il des spécifications du test ? Les concepteurs de tests et les rédacteurs d’items

ont-ils une expérience suffisante de l’enseignement au niveau visé par l’évaluation ?

Quelle est la formation suivie par les concepteurs de tests et les rédacteurs d’items ?

Les tests font-ils l’objet d’une expérimentation ? Le niveau du test est-il spécifié en référence au CECR? Quelle preuve est fournie pour appuyer cette affirmation ?

Page 13: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le
Page 14: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Nous avons travaillé avec Faouzia Benderdouche et Christine Demaison pour comprendre les besoins :

Test court Anglais général et scientifique test relié au CECR Suffisamment fiable Résultats immédiats

AAQQEE EE ®

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 15: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

London Chamber of Commerce and Industry International Qualifications a été contacté

LCCI IQ a proposé de fournir pro bono des items de test validés provenant d'ELSA

Approche « Collabétition » Tremplin pour test certifiant ?

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 16: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Le Test de positionnement en anglais a été assemblé à partir d’items choisis, et réécrits quand nécessaire Il est administré en ligne Il est composé de :

- 20 items écoute (accents britanniques)

- 40 items lecture

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 17: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Les statistiques ont été calculées

La fiabilité (l’Alpha de Cronbach) est de 0.91 Le rapport de validation a été rédigé et a circulé

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

AAQQEE EE ®

Page 18: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le
Page 19: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le
Page 20: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

And now for something completely different !

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 21: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le
Page 22: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le
Page 23: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le
Page 24: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Le test a eu un premier alignement avec le CECRL selon 2½ des procédures conseillées par le CoE dans le Manuel pour relier les examens de langues au CECR le test a été assemblé

par des personnes ayant étudié le CECR avec des items fiables censés avoir des caractéristiques des niveaux différents du cadre

les résultats du test ont été corrélés avec les opinions des candidats sur leur niveau CECR les résultats du test ont été corrélés avec une certification nationale – le CLES

Page 25: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Un exemple de pratique à l’IFD

• La demande institutionnelle• Un dispositif Test/CLES• Les observations statistiques

Page 26: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Statistiques (1)

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 27: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Statistiques (2)

Le CECRL: un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 28: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Corrélation test/ CLES 2

Page 29: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Quels impacts?

Réaction des candidats au dispositif Restructuration de la formation :

Mise en place d’ateliers en fonction des difficultés dans les différentes compétences langagières

Introduction de nouveaux items pour le test des doctorants

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 30: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Quelles perspectives?

HELP

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

Page 31: Le CECRL : un outil pour construire lamont et laval dune politique des langues? Ian Bell, Faouzia Benderdouche, Christine Demaison 29 janvier 2009 – Le

Ian Bell, Faouzia Benderdouche

Christine Demaison

Ordinary members EALTA www.ealta.eu.org

Le CECRL : un outil pour construire l’amont et l’aval d’une politique des langues? Bell, Benderdouche & DemaisonUPMC 29/01/09 – Quatrième Journée d'étude LANSAD-DILTEC – "Le Testing"

AAQQEE EE ®