Un nouvel outil pour l’évaluation des compétences des étudiants : les tests de concordance de...

Utilisation des TCS en informatique

Évaluer les competences des etudiants avec les tests de concordance de scriptsAvec le soutien de l’UNT UNIT

Mines Nantes : Christian Colin, Sophie LorenzoPrenom.Nom@emn.fr

Centrale Nantes : Morgan Magnin, Guillaume Moreaueat-tice@ec-nantes.fr

Plan

Motivations du projet Les TCS Retour sur experience Perspectives

2

Contexte

Objectif : assurer une meilleure evaluation du savoir-faire en informatique

Projet UNIT :> les Ecoles des Mines de Nantes, d'Alès et de Douai, > Centrale Nantes,> l'INSA de Rouen, > l'Universite de Bordeaux 2

3

Les TCS (1)

Tests de concordance de script

Instrument d'evaluation du raisonnement en contexte d'incertitude

Complementaires des procedures d'evaluation « traditionnelles »

Issus du secteur medical – Universite de Montreal> aider à poser un diagnostic

4

Les TCS (2)

5

Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information

Les TCS (3)

Evaluation> Confier le TCS à un panel d'experts> Score de l’etudiant proportionnel au nombre d’experts

ayant choisi la même reponse :

Évalutoile : http://www.evalutoile.u-bordeaux2.fr/

6

Exemple 1 : réponses

Reponses> classique : exclusion mutuelle

• d'où la probabilite faible

> differents points de vue…• pb : rediger la question !

> eviter les reponses binaires• retour au QCM

7

Experts Étudiants

0% 19%

0% 19%

55% 27%

22% 23%

22% 11%

Exemples

Système d'information> au delà de la theorie, multidisciplinaire> relève de la problematique de l'ingenieur generaliste

Droit de l'informatique> Texte, jurisprudence, lacunes…

Programmation> la complexite cree la situation en apparence non-

deterministe> debogage : commence par un diagnostic

8

Utilisation pratique des TCS à Centrale Nantes Experimentation sur l'examen de « Systèmes

d'information »> 26 juin 2009, 28 juin 2010> 108 etudiants, 110 etudiants> Évaluation d'après un panel de 11 experts> Biais expérimental : justification des choix demandes

aux etudiants

Experience elargie à des enseignements M2

9

Conclusions partielles

Pas simple à evaluer : il faudrait deux demi-promos evaluees avec et sans TCS> compensé par les lignes d'explication

Évaluation du raisonnement et du savoir-faire> Pertinent > Efficace

Particulièrement adapte pour : > Diagnostic> Conception

Efforts sur l'ecriture des vignettes : objectivite (decontextualisation), problème de la langue

10

Utilisation pratique

En TD/TP> Confronter l'etudiant à des situations realistes> Identifier les failles dans le raisonnement de l'etudiant

En auto-evaluation> Verification de l'acquisition de competences

En examen> Validation de competences "fondamentales"

11

Bilan

Dispositif adapte à l'evaluation de competences

Savoir-faire en termes d'ecriture de vignettes

Experience « grandeur reelle » (Centrale Nantes)> 2009 et 2010 : cours de 110 etudiants, niveau L3> 2011 :

• Promotion de 370 etudiants, niveau L3

• Usage en M2

> Voir (Magnin et Moreau, TICE’2010)12

Références

Bilan du projet UNIT : > Documents :

https://campus.mines-nantes.fr/gemcampus/course/view.php?id=26

> Tests : http://cape.mines-nantes.fr/tcs/

Implementation pour :> Moodle> Claroline (EM Lyon/Centrale Lyon)

13

Perspectives

Poursuite de l'ecriture de vignettes et generalisation

Confrontations de l'experience avec le secteur medical

Application à d'autres domaines> diagnostic> problèmes ouverts

14

Quelques références bibliographiques supplémentaires Site de reference sur les TCS en medecine :

http://www.cme.umontreal.ca/tcs/

Les motivations des TCS en informatique : http://tinyurl.com/tcs-unit

Conference de Bernard Charlin : > Canal U : http://tinyurl.com/bcharlin-tcs> Supports : http://tinyurl.com/bcharlin-slides

15

Contact et informations

Contacts> Christian.Colin@mines-nantes.fr> Sophie.Lorenzo@mines-nantes.fr> Morgan.Magnin@ec-nantes.fr > Guillaume.Moreau@ec-nantes.fr

Informations> CAPE Mines Nantes: http://imedia.emn.fr/wp/ > EAT-TICE Centrale Nantes: http://eat-tice.ec-nantes.fr

16