Utilisation des TCS en informatique
Évaluer les competences des etudiants avec les tests de concordance de scriptsAvec le soutien de l’UNT UNIT
Mines Nantes : Christian Colin, Sophie [email protected]
Centrale Nantes : Morgan Magnin, Guillaume [email protected]
Plan
Motivations du projet Les TCS Retour sur experience Perspectives
2
Contexte
Objectif : assurer une meilleure evaluation du savoir-faire en informatique
Projet UNIT :> les Ecoles des Mines de Nantes, d'Alès et de Douai, > Centrale Nantes,> l'INSA de Rouen, > l'Universite de Bordeaux 2
3
Les TCS (1)
Tests de concordance de script
Instrument d'evaluation du raisonnement en contexte d'incertitude
Complementaires des procedures d'evaluation « traditionnelles »
Issus du secteur medical – Universite de Montreal> aider à poser un diagnostic
4
Les TCS (2)
5
Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information
Les TCS (3)
Evaluation> Confier le TCS à un panel d'experts> Score de l’etudiant proportionnel au nombre d’experts
ayant choisi la même reponse :
Évalutoile : http://www.evalutoile.u-bordeaux2.fr/
6
Exemple 1 : réponses
Reponses> classique : exclusion mutuelle
• d'où la probabilite faible
> differents points de vue…• pb : rediger la question !
> eviter les reponses binaires• retour au QCM
7
Experts Étudiants
0% 19%
0% 19%
55% 27%
22% 23%
22% 11%
Exemples
Système d'information> au delà de la theorie, multidisciplinaire> relève de la problematique de l'ingenieur generaliste
Droit de l'informatique> Texte, jurisprudence, lacunes…
Programmation> la complexite cree la situation en apparence non-
deterministe> debogage : commence par un diagnostic
8
Utilisation pratique des TCS à Centrale Nantes Experimentation sur l'examen de « Systèmes
d'information »> 26 juin 2009, 28 juin 2010> 108 etudiants, 110 etudiants> Évaluation d'après un panel de 11 experts> Biais expérimental : justification des choix demandes
aux etudiants
Experience elargie à des enseignements M2
9
Conclusions partielles
Pas simple à evaluer : il faudrait deux demi-promos evaluees avec et sans TCS> compensé par les lignes d'explication
Évaluation du raisonnement et du savoir-faire> Pertinent > Efficace
Particulièrement adapte pour : > Diagnostic> Conception
Efforts sur l'ecriture des vignettes : objectivite (decontextualisation), problème de la langue
10
Utilisation pratique
En TD/TP> Confronter l'etudiant à des situations realistes> Identifier les failles dans le raisonnement de l'etudiant
En auto-evaluation> Verification de l'acquisition de competences
En examen> Validation de competences "fondamentales"
11
Bilan
Dispositif adapte à l'evaluation de competences
Savoir-faire en termes d'ecriture de vignettes
Experience « grandeur reelle » (Centrale Nantes)> 2009 et 2010 : cours de 110 etudiants, niveau L3> 2011 :
• Promotion de 370 etudiants, niveau L3
• Usage en M2
> Voir (Magnin et Moreau, TICE’2010)12
Références
Bilan du projet UNIT : > Documents :
https://campus.mines-nantes.fr/gemcampus/course/view.php?id=26
> Tests : http://cape.mines-nantes.fr/tcs/
Implementation pour :> Moodle> Claroline (EM Lyon/Centrale Lyon)
13
Perspectives
Poursuite de l'ecriture de vignettes et generalisation
Confrontations de l'experience avec le secteur medical
Application à d'autres domaines> diagnostic> problèmes ouverts
14
Quelques références bibliographiques supplémentaires Site de reference sur les TCS en medecine :
http://www.cme.umontreal.ca/tcs/
Les motivations des TCS en informatique : http://tinyurl.com/tcs-unit
Conference de Bernard Charlin : > Canal U : http://tinyurl.com/bcharlin-tcs> Supports : http://tinyurl.com/bcharlin-slides
15
Contact et informations
Contacts> [email protected]> [email protected]> [email protected] > [email protected]
Informations> CAPE Mines Nantes: http://imedia.emn.fr/wp/ > EAT-TICE Centrale Nantes: http://eat-tice.ec-nantes.fr
16
Recommended
