Utilisation des TCS en informatique

Utilisation des TCS pour l’évaluation en informatique

Morgan Magnin, Guillaume Moreau http://eat-tice.ec-nantes.fr contact : eat-tice@ec-nantes.fr

Plan

  Motivations du projet   Les TCS   Exemples   Retour sur expérience   Perspectives

2

Contexte : enseignement de l'informatique   Centrale Nantes

>  Tronc commun : informatique pour l'ingénieur •  on ne forme pas des informaticiens •  proportion non négligeable de public allergique à

l'informatique •  cours électifs : attractivité, ouverture attirer les non-geeks

> Option informatique : coloration (600h) •  contenu plus technique

  2 types de cours >  Algorithmique, programmation >  Systèmes d'information, Web strategy & development

3

Evaluation

  Cours techniques >  TP, projets > Difficultés : volume, fraude >  Eléments de solution

•  corrections électroniques : Tablet PC •  Projet MarkUs •  QCM+

  Cours moins techniques >  Etude de cas : pb du volume, note globale > Connaissances : QCM, questions ouvertes > Quid des compétences ?

4

Contexte

  Objectif : assurer une meilleure évaluation du savoir-faire en informatique

  Projet UNIT : > Centrale Nantes >  les Ecoles des Mines de Nantes, d'Alès et de Douai, >  l'INSA de Rouen, >  l'Université de Bordeaux 2

5

Les TCS (1)

  Tests de concordance de script

  Instrument d'évaluation du raisonnement en contexte d'incertitude

  Complémentaires des procédures d'évaluation « traditionnelles »

  Issus du secteur médical – Université de Montréal >  aider à poser un diagnostic

6

Les TCS (2)

Image tirée de http://www.cme.umontreal.ca/tcs/ 7

Les TCS (3)

  Evaluation > Confier le TCS à un panel d'experts >  Score de l’étudiant proportionnel au nombre d’experts

ayant choisi la même réponse

  Évalutoile : http://www.evalutoile.u-bordeaux2.fr/

8

Exemples

  Système d'information >  au delà de la théorie, multidisciplinaire >  relève de la problématique de l'ingénieur généraliste

  Droit de l'informatique >  Texte, jurisprudence, lacunes…

  Programmation >  la complexité crée la situation en apparence non-

déterministe >  débogage : commence par un diagnostic

9

Exemple 1a : énoncé   Scénario : Vincent et Laurence réservent tous deux une place

dans le train Nantes-Paris de 19h00 le 24 juin 2010. Lors de leur arrivée à la gare, ils se retrouvent avec la même place dans le même wagon.

  Hypothèse / Option : Vous supposez que le logiciel de réservation comporte un bug au niveau de la vérification d’attribution des places.

  Nouvelle donnée : Le problème ne se produit qu’une fois par an.   Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?

□  Rend l'hypothèse beaucoup moins probable □  Rend l'hypothèse moins probable □  N'a aucun effet sur l'hypothèse □  Rend l'hypothèse plus probable □  Rend l'hypothèse beaucoup plus probable

Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information 10

Exemple 1 : réponses

  Réponses >  classique : exclusion mutuelle

•  d'où la probabilité faible

>  différents points de vue… •  pb : rédiger la question !

>  éviter les réponses binaires •  retour au QCM

11

Experts Étudiants

0% 19%

0% 19%

55% 27%

22% 23%

22% 11%

Exemple 1b : énoncé

  Scénario : Pour payer les enseignants non-permanents de l’Ecole, le secrétariat Général édite la liste des vacataires à partir du système d’information. Lors de cette édition, Luc Baudoin apparaît deux fois

  Option : Si vous pensez à : >  un doublon dans la base de données

  Nouvelle donnée : la date de naissance est différente

12

Exemple 1b : réponses

  2 grands types d'hypothèses : >  simple homonymie >  erreur sur une ou plusieurs dates de naissance

  Mais aussi : >  homonymie + même date >  Erreur de saisie des noms

  Possibilité de dériver : >  Luc Baudoin et L. Baudoin > modifier nouvelles données

13

0%

10%

20%

30%

40%

50%

60%

70%

-2 -1 0 +1 +2

expert

étudiant

Exemple 2

  Scénario : Vous venez d'être nommé Correspondant Informatique et Liberté dans votre entreprise. Parmi les adresses e-mail figurant dans les fichiers de prospection publicitaire de l'entreprise, vous soupçonnez que certaines ont été collectées sans l'accord préalable des personnes à recevoir des messages commerciaux. Mais les fichiers ne contiennent aucune information sur le fait que les personnes ont - ou non - donné leur consentement.

  Option : Si vous pensez à : >  Il est nécessaire de supprimer l'intégralité des fichiers d'adresses e-

mail.   Nouvelle donnée : Vous apprenez que ces adresses e-mail

appartiennent majoritairement à des personnes morales. Le reste des adresses e-mail appartiennent à d'anciens clients de l'entreprise.

14

Exemple 2 : réponses

  La réponse pourrait être une exclusion totale de l'hypothèse >  Le droit français accorde l’autorisation de prospecter

par courriel - sans accord préalable - des personnes morales et d'anciens clients n'ayant pas manifesté leur refus par une demande de désinscription

>  on ne sait pas s'il y a eu des demandes de désinscription

  Ce n'est pas le cas > Difficulté de trouver des experts > Difficulté à utiliser certaines parties des échelles

15

Exemple 3 : énoncé

  Scénario : Alexandre et Antoine ont écrit chacun la moitié du programme dans deux fichiers x.c et y.c. Une fois compilé correctement et les liens édités sans problème, le programme plante

  Option : Si vous pensez à : >  Alexandre a tort car il est habituellement moins fort en

programmation   Nouvelle donnée : Antoine a vérifié le

fonctionnement de toutes ses fonctions

16

Exemple 3 : réponses

  Cas classique pour les enseignants   On fait appel aux notions de tests unitaires

versus tests d'intégration, voire de chaîne de génie logiciel

  Pas de conclusion évidente sans autre apport   Extension possible :

>  question courte : que faire pour affiner le diagnostic ?

17

Bilan intermédiaire du projet à Centrale Nantes   64 vignettes créées   Première expérimentation sur l'examen de

« Systèmes d'information » >  26 juin 2009 >  108 étudiants >  Évaluation d'après un panel de 9 experts > Biais expérimental : justification des choix demandée

aux étudiants   Expérimentation reconduite le 28 juin 2010, et

désormais élargie à d’autres enseignements 18

Conclusions partielles

  Pas simple à évaluer : il faudrait deux demi-promos évaluées avec et sans TCS >  compensé par les lignes d'explication

  Évaluation du raisonnement et du savoir-faire >  Pertinent >  Efficace

  Particulièrement adapté pour : >  Diagnostic >  Conception

  Efforts sur l'écriture des vignettes : objectivité (décontextualisation), problème de la langue

19

Plan de mise en oeuvre de TCS

  Acquisition du savoir-faire en termes de TCS   Établissement du référentiel de compétences   Conception de questions   Saisie des questions   Recueil de l’expertise   Expérimentations   Retour éventuel sur la rédaction de certaines

questions → itération

20

Recommandations autour des TCS (1)   Convaincre les enseignants de la pertinence des

TCS pour évaluer des compétences >  plus facile à écrire qu'un QCM, tout aussi facile à

corriger >  plus de réflexion : pas de situation simple >  pas toujours pas facile de parler de compétences…

  Situer la complémentarité des TCS par rapport aux : > QCM >  Exercices "classiques"

21

Recommandations autour des TCS (2)   Envisager une rédaction collective des vignettes

>  limite la "contexualisation" >  plus efficace que la relecture pour affiner le texte

  Pour une utilisation en évaluation >  coupler à une justification très courte >  Valide la compétence de l'élève et le TCS !

  Elargir le panel d'experts en dehors de l'établissement   Ne pas oublier que les cas simples (réponses binaires)

sont des QCM   Réutiliser !

>  dériver les TCS existants en changeant hypothèses et nouvelles données

>  D'une année sur l'autre, d'une matière à l'autre

22

Utilisation pratique

  En TD/TP > Confronter l'étudiant à des situations réalistes >  Identifier les failles dans le raisonnement de l'étudiant

  En auto-évaluation >  Vérification de l'acquisition de compétences

  En examen >  Validation de compétences "fondamentales"

23

Bilan

  Première mise en œuvre réelle des TCS en dehors du monde médical

  Dispositif adopté par l'équipe pédagogique pour l'évaluation de compétences

  Savoir-faire en termes d'écriture de vignettes

  Utile pour l'évaluation des compétences pour le C2i2mi ?

24

Perspectives

  Poursuite de l'écriture de vignettes et généralisation

  Confrontations de l'expérience avec le secteur médical

  Extension au niveau M   Application à d'autres domaines

>  diagnostic >  problèmes ouverts

25

Quelques références bibliographiques   Blog EAT-TICE Centrale Nantes :

http://eat-tice.ec-nantes.fr   Site de référence sur les TCS en médecine :

http://www.cme.umontreal.ca/tcs/   Les motivations des TCS en informatique :

http://tinyurl.com/tcs-unit   Conférence de Bernard Charlin :

> Canal U : http://tinyurl.com/bcharlin-tcs >  Supports : http://tinyurl.com/bcharlin-slides

26

Contact et informations

  Contacts > Guillaume.Moreau@ec-nantes.fr > Morgan.Magnin@ec-nantes.fr

  Informations >  Blog : https://pedagogie.ec-nantes.fr/tablet-pc/ >  Blog : http://eat-tice.ec-nantes.fr

27