L’utilisation des compétences pour guider l’ingénierie et la personnalisation des ENA

85e Congrès de l’ACFAS, 8 - 12 mai 2017 Colloque 619 - Vers une nouvelle ingénierie pédagogique pour les ENA

Rim Bejaoui, Chercheuse postdoctorale au Laboratoire en ingénierie cognitive et éducative (LICÉ), Centre de recherche LICEF (TÉLUQ)

Plan

1. Introduction2. Représentation des compétences à l’aide

des ontologies3. Analyse comparative de standards de

définition des compétences4. Évaluation des compétences5. Conclusion

2

1.Introduction

Les compétences : composante centrale dans la gestion des RH et la conception de programmes académiques

3

L’approche par compétence en éducation

◎ Années 80 (au Québec)

◎ Met l'accent sur des résultats d'apprentissage tangibles et démontrables (CAEL, 2017; Krause, Dias et Schedler, 2015)

◎ Avantages :○ Plus d’engagement de la part de l'apprenant

○ Développement d’habiletés nécessaires dans la pratique

○ Meilleure observation et rétroaction sur l’apprentissage

○ Accréditation plus précise et plus utile

4

Organisation ACycle d'apprentissage entrepreneurial guidé par les compétences(Sicilia, 2005)

KM

Entrepôts & Fournisseurs

d’objets d’apprentissage

(OA)

LMS

Contexte d’affaires

Activités d’apprentissage

Sélection /Composition d’OA

Évaluation de la performance

Analyse des écarts

Référentiel de compétences

Besoins stratégiques

Compétences m.à.j.

Compétences disponibles

Ciblage

Besoins Nouveaux produits/ services

5

Pourquoi les compétences sont elles importantes ?

6

◎ Le traitement automatisé des compétences est un élément crucial pour permettre leur partage par les systèmes informatiques :○ Gestion des ressources pédagogiques○ Gestion des listes du personnel et des apprenants ○ Gestion des CV/offres d’emploi/stages○ Accréditation/certification

2.Représentation des compétences à l’aide des ontologies

7

Représentation des compétences à l’aide des ontologies

◎ Ontologies○ Modèle formel de représentation des

connaissances

○ Utilisation de règles d’inférence ➪ acquisition de nouvelles connaissances/concepts, relations

○ En éducation:◉ Description de domaines de connaissances, objets

d'apprentissage (OA), propriétés de l'apprenant, relations entre l’apprenant et son contexte, …

◉ Amélioration de l'interopérabilité et de l'échange de données dans les systèmes d’apprentissage adaptatifs

8

“Capacité d’un individu, ou plus généralement d’une ressource, à exercer une habileté générique (sur le plan cognitif, affectif, social ou psychomoteur) avec un certain niveau de performance, par rapport à une ou plusieurs connaissances.

[Paquette, 2007]

Une compétence est la ...

9

Ontologie des compétences de Paquette (2007) (1 sur 3)

10

Ontologie des compétences de Paquette (2007) (2 sur 3)

11

Ontologie des compétences de Paquette (2007) (3 sur 3)

12

Ontologie des compétences de Paquette (2007)

◎ Énoncé de compétence ⇨ décrit le plus précisément possible la compétence○ Connaissance principale, verbe de l’habileté et performance

attendue, en utilisant les termes connus de l’organisation

◎ Exemple : ○ « Analyser les textes de loi applicables aux situations

juridiques, avec ou sans aide, selon la complexité de la situation ».

13

Ontologie des compétences de Paquette (2007)

◎ Intégration de l’ontologie dans ○ TELOS (système de recommandation, éditeur de

compétences, e-portfolio), ADISA, gabarits de MISA

◎ Extension par Rezgui et al. (2014)○ Utilisation des espaces de noms (Dublin Core, Skos

Core)

○ Intégration avec le standard HR-XML Competencies et une ontologie d’e-portfolio.

14

Ontologie des compétences de Paquette (2007)

◎ Énoncés de compétences reliés à des ontologies de domaine ○ Permet une description formelle de la partie

“connaissance” de la compétence

○ Fournit des heuristiques de comparaison de proximité sémantique des compétences (Paquette et Marino 2012)

◎ Absence des évidences et du degré de confiance associé aux compétence et aux évidences

◎ Ne prend pas en compte le processus d’évaluation d’une compétence

15

3.Analyse comparative des standards de définition des compétences● Spécification IMS RDCEO (IMS RDCEO, 2002)● Schéma HR-XML Competencies (Bloom et al., 2004)● Vocabulaire ASN (Achievement Standards Network Core RDF) (ASN, 2002)● Projet de norme ISO IEC Competency Models

(expressed in MLR)

16

Spécification IMS RDCEO (IMS Reusable Definition of Competency or Educational Objective) (IMS RDCEO, 2002)

◎ Reprise dans le standard IEEE RCD (Reusable Competency Definitions) (IEEE RCD, 2004)

◎ Minimaliste et extensible ([M] : Mandatory, [O] : Optional)○ Identifiant [M]○ Titre [M]○ Description [O]○ Définition [O]○ Métadonnées [O]

17

Ontologie RDF de la spécification IMS RDCEO

18

Spécification IMS RDCEO (IMS RDCEO, 2002)

◎ Pas d'indication sur comment évaluer ou comparer les compétences

◎ Permet l’ajout de métadonnées◎ La plupart des éléments du modèle de

données sont de type String⇨ Interopérabilité limitée

◎ Omet le “contexte” et le “niveau de performance”○

19

Schéma HR-XML Competencies (Bloom et al., 2004)

◎ Extension des standards IMS RDCEO et IEEE RCD○ Propriété « subsume » : une compétence peut inclure

d'autres compétences○ Élément « CompetencyWeight » : représente le niveau

de performance associé à la compétence ○ Élément « CompetencyEvidence » : démontre

l’acquisition d’une compétence par un individu (ex. note dans un test, certificat, etc.)

○ Élément « TaxonomyId » : références vers des taxonomies de compétences externes

20

Ontologie RDF du schéma HR-XML Competencies

21

Ontologie RDF du schéma HR-XML Competencies (Suite)

22

23

Schéma HR-XML Competencies (Bloom et al., 2004)

◎ Classement et évaluation des compétences○ «subsume», «CompetencyWeight»,

«CompetencyEvidence», «TaxonomId»

◎ Simplification excessive du terme compétence

◎ Ne permet pas la comparaison sémantique

Vocabulaire ASN (Achievement Standards Network Core RDF) (ASN, 2002)

◎ Espace de noms, fournit des URI vers des termes utiles autour des compétences

◎ 2 types de relations :○ Structurelles

(ex. isChildOf, hasChild)

○ Sémantiques (ex. CrossSubjectReference)

◎ 8 classes et 37 propriétés

Modèle conceptuel du vocabulaire ASN (ASN, 2012)

24

Ontologie RDF du Vocabulaire ASN

25

Vocabulaire ASN (ASN, 2012)

◎ Fortement axé sur les énoncés en langage naturel

◎ Intègre plusieurs niveaux d’alignement entre énoncés de compétences○ ASN: Map (minorAlignement, majorAlignement,

prerequisiteAlignment, exactAlignement, …)

◎ Le référencement et la comparaison de compétences en langage naturel restent difficiles

26

Norme ISO IEC Competency Models (expressed in MLR)

◎ Représentation au format MLR (ISO-CEI 19788-1) de la structure et des métadonnées utilisées pour décrire : ○ Une compétence (Competency semantic

information model: ISO- IEC 20006-2: 2015)

○ Le niveau de performance (Proficiency information model: ISO-CEI 20006-1: 2014)

○ Les relations des 2 modèles.

27

Ontologie RDF de la norme ISO IEC Competency Models

28

Proficiency information model (ISO-IEC 20006-2:2015

Competency semantic information model (ISO-IEC 20006-1:2011)

Norme ISO IEC Competency Models (expressed in MLR)

◎ Types des propriétés des classes mal définis ou manquants○ La plupart sont de type MLR String

◎ Pas d'orientations pour la comparaison sémantique entre compétences

◎ Spécification du “contexte” (Scenario_unit)○ Ex. Évaluation de la compétence : AssessmentProcess

(MLR string)

29

Comparaison : Ontologie de Paquette vs. IMS RDCEO vs. HR-XML Competencies vs. Vocabulaire ASN vs. ISO IEC Competency Models (Support : “⬛” = total, “⬜” = partiel, “ ” = absent)

CritèreOntologie de

PaquetteIMS RDCEO

HR-XML Competencies

Vocabulaire ASN

ISO IEC Competency

Models

Partie “Connaissance”

⬛ ⬜ ⬜ ⬜

Partie “Habileté”

⬛ ⬜ ⬜ ⬜

Partie “Performance”

⬛ ⬜ ⬜ ⬜

Évidence ⬛

Degré de confiance

Comparaison sémantique

⬛ ⬜ ⬜

Évaluation ⬜30

4.Évaluation des compétences

31

Évaluation des compétences

◎ ≠ Approche béhavioriste○ Objectif d’apprentissage : ✓atteint ou ╳ non atteint

◎ Notion d'acquisition graduelle de compétences

➤ Hypothetical Growth Curves for a Single Trainee for different Entrustable Professional Activities (EPAs) (Norman et al., 2014)

32

Évaluation des compétences

◎ Les apprenants démontrent leur maîtrise de nouvelles compétences○ Tâches liées à des problèmes du monde réel (ex.

simulations, projets de groupe, ...).

○ Vérification du niveau d'habileté, niveau de performance

◎ Spécification HR-XML Assessments ○ 3 Schémas (Demande d’évaluation, Catalogue d’

évaluation, Rapport d’évaluation)

◎

33

Spécification HR-XML Assessments

Demande d'évaluation

(Assessment Order)

Informations pour exécuter un test de recrutement ou

une évaluation du rendement

Catalogue d'évaluation

(Assessment Catalog)

Rapport d'évaluation

(Assessment Report)

Instruments d’évaluation disponibles, regroupés en

‘’paquets’’

Scores et autres détails pour répondre à une demande

d'évaluation

34

6.Conclusion et travaux futurs

35

Conclusion

◎ Définition/représentation/évaluation des compétences○ Effort de standardisation en cours, mais manque

d’études comparant les différentes propositions

◎ Diversité des sources d’information pour vérifier la validité des compétences○ Prise en compte de différents points de vue

◉ Autoévaluation, évaluations par les pairs, évaluation à correction automatisée, ...

36

Conclusion (suite)

◎ Personnalisation des scénarios pédagogiques○ Ordonnancement d'OA (Dharshini et al., 2015 ; de-Marcos et al., 2014)○ Génération d’évaluations personnalisées (Cheng et al., 2009 ;

Wan et Niu, 2016)

○ Assistance personnalisée en fonction des compétences

◎ Validation des scénarios pédagogiques dirigée par les compétences (Contamines, 2008 ; Contamines et al., 2009)

37

Travaux futurs

◎ Extension/actualisation de l’ontologie des compétence de Paquette (2007) ○ Traduction au format RDF/RDFS, utilisation des

espaces de noms ○ Évidence et degré de confiance compétence/évidence○ Évaluation de compétence

◉ Agent évaluateur, type d’évaluation, type d’instrument d’évaluation, critères d’évaluation, pondération des critères, etc.

◎ Intégration de l’ontologie à une nouvelle méthode d’IP d’ENA

38

RéférencesASN. (2012). Achievement Standards Network Core RDF. Repéré à http://standards.asn.desire2learn.com/index.php?title=ASN_Vocabulary

Bloom, N., Bork, D., Kiel, P., Scott, D., Edwards, J. D., Cohn, D., … Dolan, K. (2004). HR-XML Competencies (Measurable Characteristics) Recommendation. Chuck Allen, HR-XML. Repéré à http://www.ec.tuwien.ac.at/~dorn/Courses/KM/Resources/hrxml/HR-XML-2_3/CPO/Competencies.html

CAEL. (2017). Competency-Based Education. Repéré à http://www.cael.org/higher-education/competency-based-education

Cheng, S.-C., Lin, Y.-T. et Huang, Y.-M. (2009). Dynamic question generation system for web-based testing using particle swarm optimization. Expert Systems with Applications, 36(1), 616‑624. doi:10.1016/j.eswa.2007.09.064

Contamines, J. (2008, 28 août). Cadre de référence pour la validation dirigée par les compétences des agrégats d’objets d’apprentissage. DIC 9411 - Projet de thèse, TELUQ, Montréal.

Contamines, J., Paquette, G. et Hotte, R. (2009). LÉO, assistant logiciel pour une scénarisation pédagogique dirigée par les compétences. Revue internationale des technologies en pédagogie universitaire, 6(2-3), 26–33.

de-Marcos, L., Domínguez, A., Saenz-de-Navarrete, J. et Pagés, C. (2014). An empirical study comparing gamification and social networking on e-learning. Computers & Education, 75, 82‑91. doi:10.1016/j.compedu.2014.01.012

Dharshini, A. P., Chandrakumarmangalam, S. et Arthi, G. (2015). Ant colony optimization for competency based learning objects sequencing in e-learning. Applied Mathematics and Computation, 263, 332–341.

39

http://standards.asn.desire2learn.com/index.php?title=ASN_Vocabularyhttp://standards.asn.desire2learn.com/index.php?title=ASN_Vocabularyhttp://www.ec.tuwien.ac.at/~dorn/Courses/KM/Resources/hrxml/HR-XML-2_3/CPO/Competencies.htmlhttp://www.ec.tuwien.ac.at/~dorn/Courses/KM/Resources/hrxml/HR-XML-2_3/CPO/Competencies.htmlhttp://www.cael.org/higher-education/competency-based-educationhttp://www.cael.org/higher-education/competency-based-education

RéférencesIEEE RCD. (2004). IEEE Draft Standard for Learning Technology - Standard for Reusable Competency Definitions (p. 32 pages). Three Park Avenue New York, NY 10016-5997, USA : Institute of Electrical and Electronics Engineers, Inc. Repéré à http://grouper.ieee.org/groups/ltsc/wg20/files/IEEE_1484.20.WD_01_rough.pdf

IMS RDCEO. (2002). IMS Reusable Definition of Competency or Educational Objective Specification. IMS Global Learning Consortium Inc. Repéré à https://www.imsglobal.org/content/rdceo-v1

Krause, J., Dias, L. P. et Schedler, C. (2015). Competency-based education: A framework for measuring quality courses. Online Journal of Distance Learning Administration, 18(1), 1–9.

Norman, G., Norcini, J. et Bordage, G. (2014). Competency-Based Education: Milestones or Millstones 1?. The Accreditation Council for Graduate Medical Education Suite 2000, 515 North State Street, Chicago, IL 60654. Repéré à http://www.jgme.org/doi/full/10.4300/JGME-D-13-00445.1

Paquette, G. (2007). An ontology and a software framework for competency modeling and management. Educational Technology & Society, 10(3), 1–21.

Rezgui, K., Mhiri, H. et Ghédira, K. (2014). An ontology-based approach to competency modeling and management in learning networks. Dans Agent and Multi-Agent Systems: Technologies and Applications (p. 257–266). Springer. Repéré à http://link.springer.com.tlqprox.teluq.uquebec.ca/chapter/10.1007/978-3-319-07650-8_26

Sicilia, M.-A. (2005). Ontology-based competency management: infrastructures for the knowledge intensive learning organization. Dans Intelligent learning infrastructure for knowledge intensive organizations: A semantic Web Perspective (p. 302–324). IGI Global. Repéré à http://www.igi-global.com.tlqprox.teluq.uquebec.ca/chapter/on...nagement/24420

Wan, S. et Niu, Z. (2016). A learner oriented learning recommendation approach based on mixed concept mapping and immune algorithm. Knowledge-Based Systems, 103, 28‑40. doi:10.1016/j.knosys.2016.03.022

40

http://grouper.ieee.org/groups/ltsc/wg20/files/IEEE_1484.20.WD_01_rough.pdfhttps://www.imsglobal.org/content/rdceo-v1http://www.jgme.org/doi/full/10.4300/JGME-D-13-00445.1http://link.springer.com.tlqprox.teluq.uquebec.ca/chapter/10.1007/978-3-319-07650-8_26http://link.springer.com.tlqprox.teluq.uquebec.ca/chapter/10.1007/978-3-319-07650-8_26http://www.igi-global.com.tlqprox.teluq.uquebec.ca/chapter/on...nagement/24420http://www.igi-global.com.tlqprox.teluq.uquebec.ca/chapter/on...nagement/24420

Merci !Des questions ?

Contact :◎ www.linkedin.com/in/rim-bejaoui◎ rim.bejaoui@cogis-consulting.com◎ bejaoui.rim@univ.teluq.ca

41

http://www.linkedin.com/in/rim-bejaouihttp://www.linkedin.com/in/rim-bejaouimailto:rim.bejaoui@cogis-consulting.commailto:rim.bejaoui@cogis-consulting.commailto:bejaoui.rim@univ.teluq.camailto:bejaoui.rim@univ.teluq.ca