Upload
morgan-magnin
View
2.750
Download
2
Embed Size (px)
DESCRIPTION
Ce diaporama est le support de présentation de la contribution suivante : C. Colin, S. Lorenzo, M. Magnin et G. Moreau. Un nouvel outil pour l’évaluation des compétences des étudiants : les tests de concordance de scripts. Séminaire Vivaldi. Le Mans, Avril 2011. Cette présentation concerne le rôle des tests de concordance de script (TCS) pour valider les compétences des étudiants en informatique. Les TCS constituent un outil pour évaluer les compétences des étudiants face à des problèmes ouverts. Une centaine d'entre eux ont été conçu dans le cadre d'un projet de l'UNT UNIT. Plus d'informations sur : - http://imedia.emn.fr/wp/?page_id=1648 - http://eat-tice.ec-nantes.fr/index.php/tag/tcs/
Citation preview
Utilisation des TCS en informatique
Évaluer les competences des etudiants avec les tests de concordance de scriptsAvec le soutien de l’UNT UNIT
Mines Nantes : Christian Colin, Sophie [email protected]
Centrale Nantes : Morgan Magnin, Guillaume [email protected]
Plan
Motivations du projet Les TCS Retour sur experience Perspectives
2
Contexte
Objectif : assurer une meilleure evaluation du savoir-faire en informatique
Projet UNIT :> les Ecoles des Mines de Nantes, d'Alès et de Douai, > Centrale Nantes,> l'INSA de Rouen, > l'Universite de Bordeaux 2
3
Les TCS (1)
Tests de concordance de script
Instrument d'evaluation du raisonnement en contexte d'incertitude
Complementaires des procedures d'evaluation « traditionnelles »
Issus du secteur medical – Universite de Montreal> aider à poser un diagnostic
4
Les TCS (2)
5
Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information
Les TCS (3)
Evaluation> Confier le TCS à un panel d'experts> Score de l’etudiant proportionnel au nombre d’experts
ayant choisi la même reponse :
Évalutoile : http://www.evalutoile.u-bordeaux2.fr/
6
Exemple 1 : réponses
Reponses> classique : exclusion mutuelle
• d'où la probabilite faible
> differents points de vue…• pb : rediger la question !
> eviter les reponses binaires• retour au QCM
7
Experts Étudiants
0% 19%
0% 19%
55% 27%
22% 23%
22% 11%
Exemples
Système d'information> au delà de la theorie, multidisciplinaire> relève de la problematique de l'ingenieur generaliste
Droit de l'informatique> Texte, jurisprudence, lacunes…
Programmation> la complexite cree la situation en apparence non-
deterministe> debogage : commence par un diagnostic
8
Utilisation pratique des TCS à Centrale Nantes Experimentation sur l'examen de « Systèmes
d'information »> 26 juin 2009, 28 juin 2010> 108 etudiants, 110 etudiants> Évaluation d'après un panel de 11 experts> Biais expérimental : justification des choix demandes
aux etudiants
Experience elargie à des enseignements M2
9
Conclusions partielles
Pas simple à evaluer : il faudrait deux demi-promos evaluees avec et sans TCS> compensé par les lignes d'explication
Évaluation du raisonnement et du savoir-faire> Pertinent > Efficace
Particulièrement adapte pour : > Diagnostic> Conception
Efforts sur l'ecriture des vignettes : objectivite (decontextualisation), problème de la langue
10
Utilisation pratique
En TD/TP> Confronter l'etudiant à des situations realistes> Identifier les failles dans le raisonnement de l'etudiant
En auto-evaluation> Verification de l'acquisition de competences
En examen> Validation de competences "fondamentales"
11
Bilan
Dispositif adapte à l'evaluation de competences
Savoir-faire en termes d'ecriture de vignettes
Experience « grandeur reelle » (Centrale Nantes)> 2009 et 2010 : cours de 110 etudiants, niveau L3> 2011 :
• Promotion de 370 etudiants, niveau L3
• Usage en M2
> Voir (Magnin et Moreau, TICE’2010)12
Références
Bilan du projet UNIT : > Documents :
https://campus.mines-nantes.fr/gemcampus/course/view.php?id=26
> Tests : http://cape.mines-nantes.fr/tcs/
Implementation pour :> Moodle> Claroline (EM Lyon/Centrale Lyon)
13
Perspectives
Poursuite de l'ecriture de vignettes et generalisation
Confrontations de l'experience avec le secteur medical
Application à d'autres domaines> diagnostic> problèmes ouverts
14
Quelques références bibliographiques supplémentaires Site de reference sur les TCS en medecine :
http://www.cme.umontreal.ca/tcs/
Les motivations des TCS en informatique : http://tinyurl.com/tcs-unit
Conference de Bernard Charlin : > Canal U : http://tinyurl.com/bcharlin-tcs> Supports : http://tinyurl.com/bcharlin-slides
15
Contact et informations
Contacts> [email protected]> [email protected]> [email protected] > [email protected]
Informations> CAPE Mines Nantes: http://imedia.emn.fr/wp/ > EAT-TICE Centrale Nantes: http://eat-tice.ec-nantes.fr
16