1 Evaluation de site Ebusiness 1. Introduction sur le concept dévaluation 2. Evolution des modèles utilisés 3. Trois écoles de lévaluation de site web

1

Evaluation de site Ebusiness

1. Introduction sur le concept d’évaluation

2. Evolution des modèles utilisés

3. Trois écoles de l’évaluation de site web

4. Techniques d’évaluation

5. Démarche proposée dans le cadre du travail à réaliser en TD

2

Evaluation : » définir la valeur d'un objet VIA des mesures

directes des attributs de l'objet et en tenant compte de l'objectif et d'une norme

» La valeur sera PARFAITE si tous les attributs pertinents ont été mesurés

L’évaluation est subjective, liée à un objectif et dépend d'un norme

1 Définition de l’évaluation

3

Définition de l’évaluation

Objet à évaluer

Attribut 1

Choix selon

l'objectif et la

normeTechni

que mesure

Valeur attribut 1

Jugement 1 attribut

Selon l'objectif la normeL'individu

Jugement n attribut

Valeur globale

La valeur est subjective : elle dépend de la norme et de l ’objectif

Evaluer n’est pas contrôler !

4

Si on change 1 des 3 éléments Alors changements dans les 2 autres

Si il n ’y a pas de sens Alors pas d ’utilisation

Code

Attribut objetRègle (sens)

Définition des critères d ’évaluation

5

Les 3 Types d’évaluations de SI

Projet SI

Ex ante Décision

Equipe projetUtilisateurs

DirectionMétier

Pilotage Ex PostApprentissage

UtilisateursManagersAuditeurs

Quand ?Quoi ?

Pourquoi ?

Par qui ?

Conformité ou comparaison

6

Principes de l’évaluation SI

Plus l’objet est complexe, plus l’évaluation est multidimensionnelle» Ajouter des amplificateurs de variété (théorème de

Ashby)» Confrontation, négociation, partage de vision» Utiliser plusieurs techniques

Les techniques d’évaluation ne sont que des outils

Avant d’évaluer, se mettre d’accord sur :» L’objet à évaluer, la norme à mobiliser, le processus,

les acteurs, … Dans un contexte social, l’évaluation a toujours

un impact humain et organisationnel fort

7

Evaluation de site e-business






8

Les modèles de recherche sur l’évaluation

Différents modèles / différents objectifs» Selon le type d’école

– Qualité du site (SI) ou qualité du service

» Selon l’époque, les modes» Selon l’origine des chercheurs

– Marketing, sociologie, SI

» Selon les données disponibles– Enquêtes ou études de cas

Quelques modèles sont présentés ci-après

9

Modèle SI TAM (Davis 1989)

L'intention d'utiliser une technologie est déterminée par deux croyances,utilité perçue (une attente de résultat) et la facilité d'utilisation perçue

10

Modèle SI de Delone et McLean (1992)

Mesures du succès

Modèle de référence d’évaluation d’un SI prenant en compte l’impact sur la performance

11

Modèle d’étude des clients ebusiness

Visiteur Client

Variablesliées au site

DesignAtmosphère

Aménagement du siteDécoration

Variablesliées aux produits

QuantitéQualité

d’information lié à l’offre – produits

Variables Individuelles

-Revenus-niveau d’études, âge, sexe..

-tolérance au risque- Personnalité

Variablessituationnelles

Lieu de connexionMatériel utilisé

Contexte d’achatEnvironnement

Modèle d’étude de la transformation de visiteur en acheteur. Audrey ALCIM – 5ème Congrès de l’AIM- Grenoble 2003

12

Modèle de comportement du consommateur « on line »

Intention to shoponline

Online shoppingbehavior

Attitude towardOnline shopping

Perceived Risk

Experience

Innovativeness

PerceivedUsefulness

Ease of Use

Habit

PerceivedBehavioral Control

Social Norms

PerceivedConsequences

Age

Income

Gender

InternetUsage

Education

Enjoyment

Trust

Limayen et al.Aim 2003

13

Méthodes et métriques d’évaluation des sitesMéthodes et métriques d’évaluation des sites

1.1. Approches IHMApproches IHM

2.2. Approches SDCApproches SDC

3.3. Approche INTEGRATIVEApproche INTEGRATIVE

14







15

Les 3 écoles d’évaluation de site Ebusiness

trois écoles différentes : » Celles qui, considérant le site Web comme un

type particulier de SI, se situent à l'intérieur du paradigme de l'interaction homme-machine (IHM) et s'intéressent essentiellement à la qualité de l'interface

» Celles qui, considérant le site Web comme une variété de magasin optent pour une approche plus large, se rattachant au paradigme de la Satisfaction Du Consommateur (SDC) et à la qualité de service

» Approche intégrative : contingente

16

Approches IHMApproches IHM

a.a. Qualité de l’informationQualité de l’information

b.b. Utilisabilité (Usability)Utilisabilité (Usability)

c.c. TAMTAM

17

IHM IHM Qualité de l’information : 4 Qualité de l’information : 4 construitsconstruits

Q de contenuQ de contenu Q de l’interactionQ de l’interaction Q contextuelleQ contextuelle Q de connexionQ de connexion

Q perçue par l’utilisateurQ perçue par l’utilisateur Termes différents pour contenus proches Termes différents pour contenus proches

liés au fond et à la formeliés au fond et à la forme

18

Ecole IHM : utilisabilité

Palmer (2002 p. 153) : « l'utilisabilité inclut la cohérence et la facilité avec laquelle l'utilisateur fait ce qu'il souhaite faire, donc la clarté de l'interaction. »

En découle des paramètres liés à l’IHM» Temps de chargement» Navigation» Interactivité» Réactivité» Contenu informationnel

19

Agarwal et Venkatesh (2002) : l'utilisabilité est « la mesure selon laquelle un produit ou un service peut être utilisé par une personne pour atteindre des objectifs spécifiques avec efficacité, efficience et satisfaction »

En découle des paramètres différents :» Contenu» Facilité d’utilisation» Promotion du site» Personnalisation» Emotion» (Microsoft Usability Guidelines – MUG)

Ecole IHM : utilisabilité

20

IHM IHM Usability : bilanUsability : bilan

Construit « usability » mesuré Construit « usability » mesuré différemmentdifféremment

Le contenu est le plus importantLe contenu est le plus important Très sensible aux facteurs de Très sensible aux facteurs de

contingence (nature du site, produit, contingence (nature du site, produit, service, …)service, …)

Concepts voisins Concepts voisins regroupés de manière différenteregroupés de manière différente Désignés par différents termesDésignés par différents termes

21

Approches IHM TAM (Approches IHM TAM (Davis 1989)Davis 1989)

IntentionIntentiond’utiliserd’utiliser

une technologieune technologie

UtilitéUtilitéperçueperçue

FacilitéFacilitéd’utilisationd’utilisation

22

Approche IHM TAM appliquée au CEApproche IHM TAM appliquée au CE

IntentionIntentiond’utiliserd’utiliser

une technologieune technologie

UtilitéUtilitéperçueperçue

FacilitéFacilitéd’utilisationd’utilisation

FUFU

FU : forte pour recherche d’information sur produitFU : forte pour recherche d’information sur produitFU : faible pour achat de biens tangiblesFU : faible pour achat de biens tangibles

23

Ecole SDC : valeur pour le consommateurEcole SDC : valeur pour le consommateur

« Valeur nette (bénéfices – coûts)« Valeur nette (bénéfices – coûts)

de l’ensemble de l’ensemble

produit & processus produit & processus

de recherche, commande et réception »de recherche, commande et réception »

Principe de disconfirmation : comparaison Principe de disconfirmation : comparaison par rapport à un idéal de servicepar rapport à un idéal de service

24

Ecole SDC

Différence électronique versus traditionnels» Interaction homme / machine versus interpersonnelle» Moins d’affectif que dans le service traditionnel

– Moins de frustration et moins de chaleur ou d’attachement

» Des caractéristiques nouvelles et importantes :– Facilité de navigation, esthétique, …

Le consommateur Internet n’est pas un simple utilisateur Internet» Il a un but (goal directed) et il est peu sensible au

divertissement (phénomène du flow)» La confiance est essentielle» Il privilégie la qualité du produit ou service à la qualité du

site

25

Rappel sur le concept de « flow »

Novak et Al.(2000) ont défini le concept de "flow" : » « état cognitif atteint pendant la navigation sur le

site, déterminé par un haut niveau d'adresse et de contrôle, un haut niveau de défi et d'excitation, un grand degré d'attention et accru par l'interactivité et la téléprésence »

» Cet état est caractérisé par ": une séquence enchaînée de réponses , un sentiment de jouissance intrinsèque, une certaine perte de conscience de soi et est susceptible de s'auto-renforcer "

26

L’évaluation de la qualité de service traditionnelle n’est pas résolue

Celle de la qualité de service électronique encore moins ! Le construit de qualité de services électronique :

» Multidimensionnel» Prend en compte une qualité perçue» Est toujours relatif (à la personne, le temps, le produit)» Résulte d’une comparaison plus ou moins formalisée entre

la performance attendue et la performance perçue (disconfirmation)

» Mélange l’évaluation du média et l’évaluation du produit ou service

» Pas de consensus

Ecole SDC : qualité de service

27

Les éléments à évaluer pour la qualité de service électronique

Ecole SDC On retrouve de manière globale 5 dimensions

» (1) la disponibilité et le contenu de l’information» (2) la facilité d’utilisation

– ou « l’utilisabilité » du site (usability)

» (3) la sécurité et le respect de la vie privée,» (4) le style graphique » (5) le respect des engagements

– Prix, délai, qualité

28

Exemple de mesure de la qualité

Test socedal conseil (voir revue stratégie) Déroulement :

» Envois de plusieurs mail de demande d’information sur différents sujets

» Mesure du temps de réponse» Mesure de la pertinence de la réponse

29

APPROCHE INTEGRATIVEAPPROCHE INTEGRATIVE

STRATEGIQUESTRATEGIQUE

CONTINGENTECONTINGENTE

NORMATIVENORMATIVE

30

StratégiqueStratégique

Un site web Un site web

est un instrument d'interaction médiatée est un instrument d'interaction médiatée conçu pour traduire conçu pour traduire

une stratégie marketing et communicationune stratégie marketing et communication

31

Stratégique

Evaluation située dans le cadre d’analyse Evaluation située dans le cadre d’analyse stratégiquestratégique» Les mesures doivent donc être reliées aux Les mesures doivent donc être reliées aux

objectifs de l’entrepriseobjectifs de l’entreprise» Le succès du site dépend de l’alignement de Le succès du site dépend de l’alignement de

la conception du site à ces objectifsla conception du site à ces objectifs» Les tests d’utilisation de site et les audits de Les tests d’utilisation de site et les audits de

site visent à améliorer l’alignement site visent à améliorer l’alignement

32

CONTINGENTECONTINGENTE

SECTEURSECTEUR CONCURRENTSCONCURRENTS NATURE du PRODUITNATURE du PRODUIT OBJECTIFS STRATEGIQUESOBJECTIFS STRATEGIQUES

33

NORMATIVENORMATIVE

FAIRE CONVERGER LES DIFFERENTS FAIRE CONVERGER LES DIFFERENTS INSTRUMENTSINSTRUMENTS

ABOUTIR à des NORMES ABOUTIR à des NORMES CONTEXTUELLES CONTEXTUELLES

34

Les techniques mobilisées

Ecole IHM» Wammi» Etc.

Ecole SDC :» Servqual» Etc.

Ecole Intégrative :» Stratégique» Audit

35

Les techniques mobilisées

Expert externe

Client du site

Interne du site

Designdu site

Test d’utilisation

ES-QualWebqualSitequal

Test conformité

Questionnaire fonction du siteWAMMI

Audit de siteAnalyse

stratégique

Gomez.com

Bizrate.com

36

Test d’utilisation de siteTest d’utilisation de site

Un ou plusieurs utilisateurs participent à l'exécution de Un ou plusieurs utilisateurs participent à l'exécution de tâches représentatives des tâches réelles (selon des tâches représentatives des tâches réelles (selon des scénarios définis avant le test) ou encore, à l'exploration scénarios définis avant le test) ou encore, à l'exploration librelibre

Le test est filméLe test est filmé L’utilisateur verbalise ce qu’il faitL’utilisateur verbalise ce qu’il fait On mesure :On mesure :

» le temps ou le nombre d'actions requis pour l'exécution d'une le temps ou le nombre d'actions requis pour l'exécution d'une tâchetâche

» l'exactitude du résultatl'exactitude du résultat» le nombre d'erreurs commisesle nombre d'erreurs commises

Utilisé en vue d’une re-conceptionUtilisé en vue d’une re-conception 5 utilisateurs sont suffisants !5 utilisateurs sont suffisants !

37

Techniques d’évaluation : SERVQUAL

Pour les services traditionnels : Parasuraman, Zeithaml et Berry (1988): cinq

dimensions:» les éléments tangibles» la fiabilité» la réactivité» l’assurance» l’empathie de l’expérience de service.

L'empathie implique un processus de recul intellectuel qui vise la compréhension des états

émotionnels des autres, tandis que la sympathie est un comportement réflexe (Wikipedia)

38

Techniques d’évaluation : SERVQUAL

Les difficultés posées par SERVQUAL:» Source : Bressoles 2002 18 congrès AFM» Difficile de mesurer les attentes des Internautes

(disconfirmation)» Utopique de trouver les mêmes dimensions pour tous les

produits ou les services» Peu de différence faite entre les « habitués » et les

«novices» du service électronique– Or l’expérience est essentielle !

» Les dimensions (ou les facteurs) ne sont pas tous de la même importance

– Nécessité de pondérer les facteurs

39

Technique Sitequal : service électronique

Yoo et Donthu (2001) ont développé une échelle de mesure, appelée SITEQUAL

qualité perçue des sites de shopping en ligne. Items pour le site :

» Design» Utilisabilité» rapidité» Sécurité» Marque

Items pour le service» prix» comande» originalité» qualité

40

Technique Webqual : service électronique

Barnes et Vidgen (2001) ont développé Webqual

Trois dimensions :» Utilisabilité du site» Qualité de l’information» Qualité de l’interaction

http://www.webqual.co.uk/

41

Technique E-S-Qual

Zeithaml, Parasuraman et Malhotra (2002b) développent E-S-Qual

quatre dimensions dans le cas général :» Efficacité : capacité à accéder au site et trouver le produit» Fiabilité» Respects des engagements» Respect de la vie privée

Plus trois dans le cas de problème » Réactivité» Compensation : remboursements – retour de

marchandise» Contact

42

Technique d’évaluation SI : WAMMI

WAMMI (Website Analysis and MeasureMent Inventory)

Un questionnaire en ligne permettant aux utilisateurs de « noter » l'utilité et l'utilisabilité du site sur lequel il est implémenté.

Items : » l'attrait (Attractiveness)» le contrôle (Control)» l'efficacité (Efficiency)» l'utilité/aide (Helpfulness)» la facilité d'apprentissage (Learnability)

http://www.wammi.com/whatis.html

43

Evaluation d’expert – praticien (1)

Bizrate.com» Utilise les consommateurs pour évaluer les sites

de diverses catégories (CD, livres, jeux, …) après qu’ils aient fait leurs achats.

» L’échelle identifie les forces et les faiblesses des sites.

» Selon plusieurs études : l’élément clé pour l’intention de revisite du site est l’aspect service consommateur et l’élément le moins important est le prix.

» http://fr.bizrate.com/

44

Evaluation d’expert – praticien (2)

gomez.com» utilise des experts professionnels plutôt que des

consommateurs pour évaluer les sites» Les mesures impliques un examen du site» Possibilité de test gratuit» http://www.gomez.com/products/backbone.html

45

Audit de site web - expert

Akoka et Comyn-Wattiau 2003 Analyse hiérarchique multicritère Arbre avec pondération aux noeuds Réalisée par un expert après analyse de contexte

Critère 1

0,2

Critère 2

0.3

Critère 3

0,5

Facteur 10,2

Facteur 20,8

Action de contrôle Action de contrôle

46

Outil de conformité du site

Analyse la conformité du site» HTML – XML» Principes d’ergonomie» Principes éditeurs (Microsoft – Apple)

Exemples :» http://www.opquast.com/» http://validator.w3.org/» http://www.netmechanic.com/index.shtml

47







48

Démarche à suivre

Analyse du sitePar groupe de 2

-Stratégie / Technique / Projet*Entretien avec acteur du site

Benchmark des concurrents (minimum 4)Démarche à construire par le groupe de 2

Questionnaire Sitequal par 5

autres étudiants

Evaluation automatique

du sitePar le groupe

de 2

Synthèse

49

Benchnmark du site (1)

Identifier les concurrents du site : minimum 4» Justifier leur choix

Définir ce qui sera comparé» Par rapport au cycle complet d’achat

Préparer une grille de comparaison» Référencement / navigation / juridique / offres …

Préparer un protocole de comparaison» Ordre, durée, recoupement des résultats

Faire une synthèse du benchmark» Points forts – points faibles» Graphiques

50

Benchnmark du site (2)

La conception de personas est un outil pour conduire des analyses concurrentielles.

Les personas sont des personnages virtuels. Ces personnages doivent être les représentants des utilisateurs typiques du site

On leur définit des caractéristiques précises: un persona a un nom, un prénom, un âge, un métier, un niveau d'expertise avec Internet, des sites web préférés, des objectifs de vie et des raisons pour lesquelles il pourrait être amené à consulter le type de site que l'on étudie.

Permet de rester centré sur le point de vue de l'utilisateur, et non sur celui d'un visiteur non concerné.

Permet de comparer les expériences de chaque persona sur chaque site du benchmark.

Source : http://www.ergolab.net/articles/analyse-concurrentielle-ergonomie.html

51

Questionnaire Sitequal

Faire remplir le questionnaire :» Par au moins 10 personnes» En utilisant le questionnaire fourni QU’IL FAUT

ADAPTER !» Attention au protocole» Tester le questionnaire avant de l’envoyer

Faire une synthèse de l’évaluation» Radar et explications

52

Evaluation automatique de site

Test de conformité du site :» http://www.opquast.com/

– Plusieurs tes de conformité

» http://validator.w3.org/» http://www.netmechanic.com/index.shtml

Popularité du site et étude des mots clefs» http://www.secrets2moteurs.com/

– Avec analyse des mots clefs

53

Analyse

Croisement des différentes vues sur le site» Benchmark» Questionnaire» Evaluation automatique

Utilisation de l’analyse préalable» Pour étudier les critères les plus importants» Expliquer des écarts ou des résultats étonnants

Apport d’une valeur ajoutée» Pertinence de l’analyse par le groupe d’étudiants

Documents

1 Evaluation de site Ebusiness 1. Introduction sur le concept dévaluation 2. Evolution des modèles utilisés 3. Trois écoles de lévaluation de site web