1 Olivier HU ; Philippe TRIGANO - Université de Technologie de Compiègne Méthodologie de conception dapplications Multimédias Educatives : la méthode EMPI

1Olivier HU ; Philippe TRIGANO - Université de Technologie de Compiègne

Méthodologie de conception d’applications Multimédias

Educatives :

la méthode EMPI


Les sources des critères d’analyse

Les Sources : Les Normes Les Guides de style Les Critériologies et Ontologies des domaines

D ’où un grand nombres de recommandations : A tout les niveaux de détails : directives, critères,

recommandations… Dans tous les thèmes : ergonomie, documents

multimédias, génie logiciel, pédagogie…


Les sources des critères d’analyse…

en ergonomie Normes :

— Norme ISO/WD 9241

— Accessibilité W3C WAI ATAG / UAAG / WCAG

Guide de style :— The Windows Interface Guidelines For Software Design

— OSF Motif Style Guide

— Mac OS 8 Human Interface Design Apple

Recueils de recommandations et critériologies :— J. Vanderdonckt - Guide ergonomique des IHM. Namur. 1994

— D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems.(97)

— De nombreuses revues et conférences : International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM...



en multimédia Questionnaire NUMI Standards for Multimedia User Interfaces (Ziegler J.) Les normes d ’édition Musicologie (Chion M.), Photographies…

pour le Web WAMMI (Website Analysis and MeasureMent Inventory) WebSAT Projet EvalWeb (INRIA, LIHS Toulouse,UCL)



en pédagogie

La norme RIP : critères pédagogiques, critères techniques, critères juridiques

Le questionnaire d ’évaluation METANE

A l ’intérieure de différentes méthodes ou ouvrages comme MEDA


Les sources des critères

d’analyse… conséquences

Un très (trop) grand nombre de recommandations

Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation

Un temps d ’évaluation long

Pas besoin de toutes les recommandations tout le temps


La nécessité d’une structuration adaptative

Un parcours synchrone…

…

… …

… …Q221

Q222

Q223

…

Themes

Criteria

Sub-Criteria

Questions

T1 T2

C1 C2 C3

C21 C22 C23



Un parcours synchrone

Une pondération adaptable

Q1

Q2

Q3

Q4

1

3

3

1

Criterion mark





Une adaptation dynamique

Question : Avez-vous…Réponses :

Proposition 1Proposition 2

...

… …Q221

Q222

Q223

…

C21 C22 C23

P=1P=3






Des calculs évolués-10

-5

0

5

10

always often sometimes never

Do you see this default ?






Des calculs évolués

Une évaluation

toujours

incomplète


La nécessité de prendre en compte

la subjectivité Un contexte complexe : plaisir d’utilisation,

motivation, empathie etc.

Des compétences hétérogènes des enseignants

Pouvoir confronter les a priori de l ’évaluateur

Détecter des défauts ressentis et non formulés



la subjectivité Les Impressions Générales

Rassurant / DéconcertantLuxuriant / Sobre

Ludique / AcadémiqueActif / Passif

Simple / ComplexeInnovant / Traditionnel

Une capitalisation Une description « neutre » Deux exploitations futures :

—des impressions « calculées »—une description du public cible



la subjectivité Les Impressions Générales

Une Notation Instinctives

Une Profondeur d’Analyse Variable


La confrontation entre subjectivité humaine

et évaluation analytique

Le résultat doit être vue comme une proposition : sa qualité est de la responsabilité de l ’évaluateur il permet de confronter son opinion à la vision

analytique la méthode aide et ne remplace pas l ’évaluateur




Une aide à l ’évaluation Help Explanation

Reformulation

Exemples

Theory

Vers un apprentissagede l ’évaluation




Une aide à l ’évaluation

Un indice de cohérence

La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants

… …

C2

C21 C22 C23

+10

-9 -10 -8

Notes Instinctives






Une proposition de note « intelligente »

Note Calculée Note Instinctive

Indice decohérence

Pondéréepar

Proposition de résultat






Une proposition de note « intelligente »

Vers un rapport descriptif

CommentairesGénérationde descriptions

Rapportdescriptif

Notes finales

Rapport final d ’évaluation


Notre prototype


Notre prototype

Note instinctive

ImpressionsGénérales


Notre prototype

Proposition de note finale :


Validations

Des cycles de conceptions avec des étudiants de second cycle :

— environ une cinquantaine d ’étudiant pour une trentaine de logiciels

Usage réel— recueil d ’information sur l ’usage du prototype par des enseignants

Observation sur le terrain— observation de l ’usage de différents logiciels par une classe de

cm2

Une confrontation avec les concepteurs


Validations

Caractéristiques de laméthode

Résultats observés sur le terrain(apprenants et évaluateurs/enseignants)

Usage par les concepteurs

Impressions générales Bonne prédiction de l’adéquation public / logiciel Description qualitative permettant deconfronter volonté de conception etimpressions effectives

Questionnaires Bonne détection des erreurs ergonomiques.Manque de données en Documents et en Scénarisa-tion.

Vision clinique globale du logiciel.

Distinction notes ins-tinctives / notes calcu-lées

Investissement de l’évaluateur, voir apprentissage del’enseignants à l’analyse des logiciels.Amélioration du réalisme de l’évaluation.

Distinction entre réalité et perceptionde la réalité : priorité de développe-ment etc.


Perspectives :

(M)-1

Un outil d ’aide à la conception La même base de critère que EMPI Génération d ’un « cahier des charges »

QML Un formalisme de description Gérer toutes les caractéristiques de la méthode Produire le questionnaire sur différents supports


Conclusions

La base de recommandations est riche en taille et en diversité

Ne jamais oublier le contexte humain Une instrumentation plus qu’une automatisation