MAN – Mise en place d’une méthode d’évaluation croisée de ... · MAN – Mise en place d’une méthode d’évaluation croisée de l’accès aux ressources numériques

MAN – Mise en place d’une méthode d’évaluation croisée de l’accès aux ressources numériquesL o ï c C a ro u x 1, E r i c C a m p o 2, N a d i n e V i g o u ro u x 3, P h i l i p p e G o r c e 4, D a n I s t ra t e 5, J u l i e n J a c q u i e r - B r e t 4, N i c o l e L o m p r é 6, N a t h a l i e P i n è d e 7, L i l i a n a R i c o D u a r t e 1, M a t h i l d e S a c h e r 1, A n t o n i o S e r p a 3, A d r i e n v a n d e n B o s s c h e 3, F r é d é r i c Ve l l a 3

J o u r n é e d e r e s t i t u t i o n d u d é f i A u t o n C N R S , P a r i s , 2 8 j u i n 2 0 1 9

l o i c . c a r o u x @ u n i v - t l s e 2 . f r1 C L L E , U N I V E R S I T É D E T O U L O U S E & C N R S2 L A A S , C N R S , T O U L O U S E3 I R I T , U N I V E R S I T É D E T O U L O U S E & C N R S4 H A N D I B I O , U N I V E R S I T É D E T O U L O N5 B M B I , U N I V E R S I T É D E T E C H N O L O G I E D E C O M P I È G N E & C N R S6 P A S S A G E S , U N I V E R S I T É D E P A U E T D E S P A Y S D E L ’ A D O U R & C N R S7 M I C A , U N I V E R S I T É B O R D E A U X M O N T A I G N E

Pro j et s o u t e n u p a r l a M i s s i o n p o u r l ’ I n t erd i s c i p l i n a r i té d u C N RS ( D é f i AU TO N )

Objectifs du projet MANObjectifs scientifiques

Conception et mise en œuvre d’une méthodologie d’évaluation, croisant données quantitatives et qualitatives, objectives et subjectives, de l’accès aux ressources numériques par des personnes âgées dans différents contextes d’usage pour faciliter l’autonomie

approche collaborative interdisciplinaire renforcée

Objectifs d’animationStructuration d’une communauté nationale de chercheurssur l’évaluation en contexte d’usage des dispositifs d’aide à l’autonomie

2PROJET MAN3 - JOURNÉE DE RESTITUTION CNRS - 28 JUIN 2019

Verrous scientifiques visésConceptualiser un protocole complet de la méthode d’évaluation◦ Pluridisciplinaire◦ Multiples données quantitatives et qualitatives (objectives et subjectives)

Faire une preuve de concept de la méthode dans un environnement contrôlé ambiant◦ Pour des cas d’usages écologiques ◦ Avec des personnes âgées présentant des déficiences

Identifier des indicateurs pour la modélisation du comportement, de l’utilité, de l’utilisabilité et de l’acceptabilité du dispositif numérique


6 indicateurs d’évaluation

4

Indicateurs Données quantitatives Données qualitatives

Relation sociale du participant Caractéristiques et profils socioprofessionnels, socio-économiques, démographiques, santé, éducation, culturels, géographiques (Questionnaire)

Attitude et aptitude avec les technologies (Entretien)

Motivation du participant dans l’utilisation des technologies

Expérience personnelle, les parcours de vie, les savoirs antérieurs liés aux relations aux relations sociales (Questionnaire)

Expérience personnelle, les parcours de vie, les savoirs antérieurs liés aux relations aux relations sociales (Entretien)

Effet d’appropriation induit par l’expérience

Acceptabilité des technologies et attitudes vis-à-vis de ces technologies (Questionnaire)

Degré d’appropriation : temps d’exécution de la tâche au cours du temps ; nombre d’essais de réalisations de la tâche ; arbre de fonctions parcourues… (Log d’activités, oculométrie, Indices biomécaniques)

Ressenti après l’expérience : intérêt exprimé, degré de satisfaction production de connaissances, ancrage dans les représentations antérieures (Entretien)

Comportements et attitudes psycho-sociales

Attitudes faciales et posturales, étude des émotions (Analyse de la vidéo, de la voix et indices biomécaniques)

Craintes, rejets, dimensions idéologiques, axiologique, sociologique, psychologique (Entretien)

Utilisabilité

Efficacité : Taux de succès

Efficience : Durée d’exécution de la tâche ; Taux d’utilisation des fonctions (observation vidéo et audio, analyse des logs d’interaction) ; Nombre et durée des fixations oculaires sur objets de la maison et éléments de l’interface (oculométrie) ; Mouvements buste mains et doigts (Indices biomécaniques)

Satisfaction : Emotions (analyse vidéo et du discours), acceptabilité (questionnaire) , Postures/attitudes

Ressenti et justifications exprimées (Entretien)

Utilité Utilité effective : Taux d’utilisation des fonctions (logs d’activité ; observation vidéo et audio)

Utilité perçue (Entretien)

PROJET MAN3 - JOURNÉE DE RESTITUTION CNRS - 28 JUIN 2019

Méthodes utilisées (2018)Méthodes d’évaluation qualitatives ou quantitatives sont préférées selon les disciplines et les objectifs (Pluye et al., 2009)

◦ Les deux dans le champ de l’autonomie et des gérontechnologies (Johnson et al., 2007)

Méthodes qualitatives◦ Entretien personnalisé (enregistrement audio) Profil de la personne : Age, déficience, utilisation des technologies Connaissances des technologies, ressenti (avant et après l’expérience)

◦ Observations in situ (enregistrement vidéo)

Méthodes quantitatives ◦ Questionnaires (socio-culturel, acceptabilité des technologies)◦ Test cognitifs◦ Log d’activités modélisation des comportements◦ Analyse du dialogue du participant ◦ Données des capteurs ambiants◦ Capture du mouvement du buste de la personne indices biomécaniques ◦ Suivi des mouvements oculaires stratégies interactionnelles◦ Activité cardiaque Niveau de stress

5

• Observation des comportements, attitudes et interactions face à un outil numérique

• Analyse de l'activité, des postures et des attitudes en fonction des profils

• Modélisation de l'activité, du mouvement, du comportement

• Inter croisement des outils : questionnaires, entretiens, données d'acquisition (logs, image, postures, voix), observations


Autorisation LRIPH par l’ARS en 2017

6

Plateforme d’observation instrumentée pluri-technique : Maison Intelligente de Blagnac

Les instruments de mesure (2018)


Procédure ad-hoc de synchronisation des données

Participants à la mise en œuvre de la méthode MAN consolidée (2018)

Critères d’inclusion◦ Age > 65 ans◦ Sans fracture numérique

◦ min. aisance moyenne avec les technologies numériques

◦ Avec ou sans déficience visuelle◦ Exclut les personnes ayant une basse vision (inférieur à 2/10) et/ou

utilisant un lecteur d’écran ou de plage braille

◦ Sans déficience cognitive importante

4 participants◦ 68 – 90 ans◦ sans déficience visuelle ni déficience cognitive◦ avec bonne aisance numérique

7

Scénarios (2018)

Scénario libre : « Activités de la viequotidienne »

Objectif : utiliser la tablette pour réaliser destâches de la vie quotidienne et rechercherdes informations dans un contexte noncontraint.


IHM (2018)Tablette tactile◦ Conception et développement d’une nouvelle application

pour contrôle de l’environnement et navigation web


9

Salle d’observation


Phases d’étude (2018)Phase 1 au domicile du participant

Phase 2 sur le lieu d’expérimentation

Méthodologie d’analyse croisée des données (2018)Source de données

Indicateurs Données quantitatives

Données qualitatives

Logs activité tablette Audio MIB Vidéo MIB Audio/vidéo

caméra 360Audio/vidéo lunettes

Capture oculométrique

Capture biomécanique

Fréquence cardiaque

Questionnaire inclusion Q0

Questionnaire profil Q1

Questionnaire acceptabilité pré Q2A

Questionnaire acceptabilité post Q2P

Entretien pré E1

Entretien post E2

Relation sociale du participant

Caractéristiques et profils socioprofessionnels, socio-économiques, démographiques, santé, éducation, culturels, géographiques (Questionnaire)

Attitude et aptitude avec les technologies (Entretien)

XXX XXX XX

Motivation du participant dans l’utilisation des technologies

Expérience personnelle, les parcours de vie, les savoirs antérieurs liés aux relations aux relations sociales (Questionnaire)

Expérience personnelle, les parcours de vie, les savoirs antérieurs liés aux relations aux relations sociales (Entretien)

XX XX XX XXX XXX X

Effet d’appropriation induit par l'expérience

Acceptabilité des technologies et attitudes vis-à-vis de ces technologies (Questionnaire); Degré d’appropriation : temps d’exécution de la tâche au cours du temps ; nombre d’essais de réalisations de la tâche ; arbre de fonctions parcourues… (Log d’activités, oculométrie, Indices biomécaniques)

Ressenti après l’expérience : intérêt exprimé, degré de satisfaction production de connaissances, ancrage dans les représentations antérieures (Entretien)

XXX X X XX XX X X XXX XXX XX

Comportements et attitudes psycho-sociales

Attitudes faciales et posturales, étude des émotions (Analyse de la vidéo, de la voix et indices biomécaniques)

Craintes, rejets, dimensions idéologiques, axiologique, sociologique, psychologique (Entretien)

XXX XXX XXX X XXX XXX X XXX

Utilisabilité

Efficacité : Taux de succès XXXEfficience : Durée d’exécution de la tâche ; Taux d’utilisation des fonctions (observation vidéo et audio, analyse des logs d’interaction) ; Nombre et durée des fixations oculaires sur objets de la maison et éléments de l’interface (oculométrie) ; Mouvements buste mains et doigts (Indices biomécaniques)

XXX X X XXX XXX

Satisfaction : Emotions (analyse vidéo et du discours), acceptabilité (questionnaire) , Postures/attitudes

Ressenti et justifications exprimées (Entretien) X X XXX X XXX XXX XXX XXX

UtilitéUtilité effective : Taux d’utilisation des fonctions (logs d’activité ; observation vidéo et audio)

Utilité perçue (Entretien) XXX X XX XXX

10

XXX source de données principaleXX source de données complémentaireX source de données secondairePROJET MAN3 - JOURNÉE DE RESTITUTION CNRS - 28 JUIN 2019

Exemple : « Effet d’appropriation »Source de données Variables

Données objectives

Logs activité tabletteEvolution du temps d’exécution au cours du temps;

Nombre d’essais de réalisations de la tâche; Arbre de fonctions parcourues

Audio/vidéo caméra 360 XAudio/vidéo lunettes XCapture oculométrique Evolution de la fréquence et durée des fixations sur les zones d’intérêtCapture biomécanique Evolution des mouvements du buste et des membres supérieursFréquence cardiaque X

Données subjectives

Questionnaire profil Q1 XQuestionnaire acceptabilité pré Q2A Score d’acceptabilité avantQuestionnaire acceptabilité post Q2P Score d’acceptabilité après

Entretien post E2 Intérêt exprimé; degré de satisfaction; Ancrage des représentations antérieures

PROJET MAN3 - JOURNÉE DE RESTITUTION CNRS - 28 JUIN 2019 11

PerspectivesEn cours

Mise en œuvre de l’analyse croisée des données et validation de la multi-dimensionnalité des indicateurs d’évaluation◦ Financement obtenu pour 2019

(MSHS de Toulouse)

En projet

Validation à grande échelle de la méthode MAN◦ Etudes sur un plus grand échantillon

de participants◦ Etude longitudinale mêlant milieu écologique

et laboratoire (Apprentissage et appropriation)


Publications et communicationsArticle dans une revue à comité de lecture

Vigouroux, N., Campo, E., Lompré, N., Vella, F., Caroux, L., Gorce, P., Istrate, D., Jacquier-Bret, J., Serpa, A., van den Bossche, A. (2018). Démarche de co-conception d’une méthode d’observation et d’évaluation multidimensionnelle de l’accessibilité au numérique. Tic & Société, 12(2), 151-183.

Chapitre d’ouvrage

Vigouroux, N., Campo, E., Lompré, N., Vella, F., Caroux, L., Jacquier-Bret, J., Istrate, D., Gorce, P., Pinède, N., Sacher, M., Serpa, A., & van den Bossche, A. (sous presse). De l'intérêt de développer une vision systémique dans la conception d'une méthode d’observation multimodale pour l’étude de l’accessibilité numérique avec des personnes en situation de handicap. In Handicratie (17 p.).

Article dans des actes de conférence à comité de lecture

Vigouroux, N., Vella, F., Istrate, D., Campo, E., Caroux, L., Lompré, N., Gorce, P., Jacquier-Bret, J., Pinède, N., Sacher, M., Serpa, A., & van den Bossche, A. (2019). Méthode d’observation multimodale de l’accessibilité au numérique pour les personnes âgées. Actes de la 7e édition des journées d’étude sur la télésanté JETSAN’2019 (7 p.).

Communications invitées dans des conférences

Caroux, L., Campo, E., Vigouroux, N., Bourreau, E., Clerc, M., Gorce, P., Graff, C., Huchard, M., Istrate, D., Jacquier-Bret, J., Lompré, N., Pinède, N., Rico Duarte, L., Sacher, M., Serna, A., Serpa, A., van den Bossche, A., & Vella, F. (2018, Juin). MAN : Mise en place d'une méthode d’évaluation croisée de l'accès aux ressources numériques. 10e conférence de l’IFRATH sur les technologies d’assistance HANDICAP 2018, Paris.

Vigouroux, N., Campo, E., Caroux, L., Lompré, N., Vella, F., Jacquier-Bret, J., Istrate, D., Gorce, P., Pinède, N., Sacher, M., Serpa, A., & van den Bossche, A. (2018, Décembre). Méthodes et outils de conception et d'observations de technologies d'assistance au sein des Living Labs pour une meilleure autonomie.Colloque Handicratie 2018, Nice.


Documents

MAN – Mise en place d’une méthode d’évaluation croisée de ... · MAN – Mise en place d’une méthode d’évaluation croisée de l’accès aux ressources numériques