1 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire

1Nom de l'intervenant - Titre de l'intervention

Insérez icivotre logo L’analyse de logiciels de

formation :

entre critériologie descriptive et nécessaire subjectivité

Olivier Hû - Philippe Trigano

Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206

Compiègne, [email protected] ; [email protected]


Insérez icivotre logo Plan

• Les sources des critères d ’analyse• La nécessité d ’une structuration

adaptative• La nécessité de prise en compte de la

subjectivité• La confrontation entre subjectivité

humaine et évaluation analytique• Notre prototype• Validations• Perspectives• Conclusions


Insérez icivotre logo Les sources des critères

d’analyse

• Les Sources :– Les Normes– Les Guides de style– Les Critériologies et Ontologies des domaines

• D ’où un grand nombres de recommandations :– A tous les niveaux de détails : directives,

critères, recommandations… – Dans tous les thèmes : ergonomie, documents

multimédias, génie logiciel, pédagogie…

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Insérez icivotre logo

Les sources des critères d’analyse…

en ergonomie

• Normes :– Norme ISO/WD 9241 – Accessibilité W3C WAI ATAG / UAAG / WCAG

• Guide de style :– Windows Interface Guidelines For Software Design– OSF Motif Style Guide– Mac OS 8 Human Interface Design Apple

• Recueils de recommandations et critériologies :– J. Vanderdonckt - Guide ergonomique des IHM. – D. Scapin - Ergonomic criteria for evaluating the

ergonomic quality of interactive systems.– International Journal of HCI ; TFWWG ; CADUI ; ERGO-

IA ; IHM...

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions



WAMMI (Website Analysis MeasureMent Inventory)WebSATProjet EvalWeb (INRIA, LIHS Toulouse,UCL)

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

pour le Web


en multimédia

• Questionnaire NUMI• J. Ziegler - Standards for Multimedia User

Interfaces• Les normes d ’édition• Musicologie (Chion M.), Photographies…




en pédagogie

• La norme RIP : critères pédagogiques, critères techniques, critères juridiques

• Le questionnaire d ’évaluation METANE

• A l ’intérieure de différentes méthodes ou ouvrages (MEDA…)

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions




conséquences

• Un très (trop) grand nombre de recommandations

• Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation…

• Un temps d ’évaluation long

• Pas besoin de toutes les recommandations tout le temps

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Insérez icivotre logo La nécessité d’une

structuration adaptative

…

…

… …

… …Q221

Q222

Q223

…

Themes

Criteria

Sub-Criteria

Questions

T1 T2

C1 C2 C3

C21 C22 C23

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Un parcours synchrone




Q1

Q2

Q3

Q4

1

3

3

1

Criterion mark

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Une pondération adaptable




Question : Avez-vous…?Réponses :

Proposition 1Proposition 2

...

… …Q221

Q222

Q223

…

C21 C22 C23

P=1P=3

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions



Une adaptation dynamique




-10

-5

0

5

10

always often sometimes never

Do you see this default ?

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions



Une adaptation dynamique

Des calculs évolués




• Un parcours synchrone

• Une pondération adaptable

• Une adaptation dynamique

• Des calculs évolués

Une

évaluation

toujours

incomplète

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Insérez icivotre logo La nécessité de prendre en

compte la subjectivité

• Un contexte complexe : plaisir d’utilisation, motivation, empathie…

• Des compétences hétérogènes des enseignants

• Pouvoir confronter les a priori de l ’évaluateur

• Détecter des défauts ressentis et non formulés

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions




• Les Impressions Générales

Rassurant / DéconcertantLuxuriant / Sobre

Ludique / AcadémiqueActif / Passif

Simple / ComplexeInnovant / Traditionnel

Une capitalisation

Une description « neutre »

Deux exploitations futures :

des impressions « calculées »

une description du public cible

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions




• Les Impressions Générales

• Une Notation Instinctives

• Une Profondeur d’Analyse Variable

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions



• Le résultat doit être vu comme une proposition :

sa qualité est de la responsabilité de l ’évaluateur

il permet de confronter son opinion à la vision analytique

la méthode aide et ne remplace pas l ’évaluateur

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

La confrontation entre subjectivité humaine et évaluation analytique



Explanation

Reformulation

Exemples

Theory

Help

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Une aide à l ’évaluation

Vers un apprentissagede l ’évaluation



La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants

… …

C2

C21 C22 C23

+10

-9 -10 -8

Notes Instinctives

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Un indice de cohérence




Note Calculée Note Instinctive

Indice decohérence

Pondéréepar

Proposition de résultat

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Un indice de cohérence

Une proposition de note « intelligente »




• Une aide à l ’évaluation

• Un indice de cohérence

• Une proposition de note « intelligente »

• Vers un rapport descriptif

CommentairesGénérationde descriptions

Rapportdescriptif

Notes finales

Rapport final d ’évaluation

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions




Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Notre prototype



Note instinctive

Impressions Générales

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Notre prototype



Proposition de note finaleLes sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Notre prototype


Insérez icivotre logo Validations

• Des cycles de conceptions avec des étudiants de second cycle :

– Une cinquantaine d’étudiants pour une trentaine de logiciels

• Usage réel– Recueil d’informations sur l’usage du prototype

par des enseignants ou des experts

• Observation sur le terrain– Observation de l’usage de différents logiciels

par une classe de cm2

• Une confrontation avec les concepteurs

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Insérez icivotre logo Validations

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

• Impressions Générales :– Terrain : bonne prédiction de l ’adéquation

public/logiciel– Concepteurs : retour sur la population cible

• Le Questionnaire :– Terrain : bonne détection des erreurs

ergonomiques– Concepteurs : vision clinique multicompétence

• Notes Instinctives / Calculées :– Terrain : investissement et apprentissage de

l’évaluateur– Concepteurs : priorité de développement


Insérez icivotre logo Perspectives :

• Utilisabilité du prototype

• Présentation des résultats

• Ordonnancement des critères

• Portabilité de la méthode à d’autres questionnaires

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions


Insérez icivotre logo Perspectives : (M)-1

• Un outil d ’aide à la conception• La même base de critères que EMPI• Génération d ’un « cahier des charges »

Un formalisme de description Gérer toutes les caractéristiques de la méthodeProduire le questionnaire sur différents supports

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions

Perspectives : QML


Insérez icivotre logo Conclusions

• La base de recommandations est riche en taille et en diversité

• Ne jamais oublier le contexte humain

• Une instrumentation plus qu’une automatisation

Les sources

Adaptation

Subjectivité

Confrontation

Prototype

Validations

Perspectives

Conclusions



L’analyse de logiciels de formation :

entre critériologie descriptive et nécessaire subjectivité

Olivier Hû - Philippe Trigano

[email protected] ; [email protected]

Documents

1 Insérez ici votre logo Nom de l'intervenant - Titre de l'intervention Lanalyse de logiciels de formation : entre critériologie descriptive et nécessaire