35
Qualité d’expérience utilisateur Benchmark de performance des solutions de messagerie Microsoft Office 365, IBM LotusLive et Google Apps Webinar du 06 Octobre 2011 Alexis Blandin, Responsable pôle Cloud et Social Business | Synergie Informatique Arnaud Bécart, Ingénieur Avant-vente et chef de produit datametrie | ip-label David WAIS, responsable partenaire | ip-label

Qualité d'expérience utilisateur final

Embed Size (px)

DESCRIPTION

 

Citation preview

Page 1: Qualité d'expérience utilisateur final

Qualité d’expérience utilisateur

Benchmark de performance des solutions de messagerie Microsoft Office 365, IBM LotusLive et Google Apps

Webinar du 06 Octobre 2011

Alexis Blandin, Responsable pôle Cloud et Social Business | Synergie Informatique

Arnaud Bécart, Ingénieur Avant-vente et chef de produit datametrie | ip-label

David WAIS, responsable partenaire | ip-label

Page 2: Qualité d'expérience utilisateur final

Agenda

Présentation Synergie & Ip-label

Présentation du panorama des offres collaboratives dans le Cloud

Benchmark ip-label avec datamétrie des solutions collaboratives Microsoft Office 365, IBM LotusLive et Google Apps

Présentation des offres d’accompagnement Synergie & ip-label à l’occasion des migrations et en service régulier,

Q/R

Page 3: Qualité d'expérience utilisateur final

Qualité d’expérience utilisateur

Présentation de Synergie Informatique et ip-label

Page 4: Qualité d'expérience utilisateur final

Synergie Informatique

SSII , Centre et Paris-IDF

Spécialiste du Social Business

Experte dans l’intégration de solutions de messagerie et de collaboration

Partenaire IBM, Microsoft, Google

Page 5: Qualité d'expérience utilisateur final

Confidentiel - Altran BLE 19-02-10

ip-label.newtest en chiffres :

• 15 ans d’expérience • 1500 clients • 10 M€ de CA • 75 personnes • 15 ingénieurs R&D

• des filiales en Europe… en Espagne & aux Pays-Bas

…en Asie : Hong Kong & Chine

• un réseau de partenaires… en Europe de l’Ouest, de l’Est, en Scandinavie, aux Etats-Unis

ip-label.newtest en bref

Quelques clients

Page 6: Qualité d'expérience utilisateur final

Qualité d’expérience utilisateur Benchmark de performance des solutions de messagerie Microsoft Office 365, IBM LotusLive et Google Apps

Page 7: Qualité d'expérience utilisateur final

L’avènement du Cloud

Innovation = Grand public vs. Entreprise Réseau sociaux, nouvelle génération Mobilité, hyper-connectés, convergence Accroissement des données SaaS, le Cloud à maturité

“ Cloud Computing Market Will Top $241 Billion in 2020 ” – Forrester Research “10% of Enterprise Email Will Be Based on a Cloud/SaaS Model in 2014” – Gartner

Page 8: Qualité d'expérience utilisateur final

Le collaboratif en ligne de mire

Scénarios d’utilisations Cloud plébiscités

1. Prototypage

2. Développements, tests

3. Messagerie

4. Collaboration

5. Applications Web

6. Backup, archivage

Avantages attendus par la DSI Délégation des commodités Industrialisation Déploiement rapide Economie d’échelle, ROI Self-service, élasticité / PAYG Innovation (« beta » permanente)

Standardisation, intégration Ouverture Nouveaux enjeux (mobilité, données)

Page 9: Qualité d'expérience utilisateur final

L’évolution de la DSI

Garanties, disponibilité (SLA)

Garantir et faire évoluer la « Qualité »

Sécurité, externalisation, réversibilité

Relation commerciale (B2B)

Gestion des contrats, du juridique (Patriot Act, CNIL)

Passage d’un mode CAPEX à OPEX (abonnement)

Contraintes opérationnelles, organisationnelles

Page 10: Qualité d'expérience utilisateur final

Besoins adaptés

Gouvernance, Best Practices « Cloud »

Organigramme et processus adaptés

Moins de « tuyauterie », plus « d’exploitation » (support, métiers, infrastructures)

Dépendance au réseau/service

Expérience utilisateur

Outils de métrologie

Page 11: Qualité d'expérience utilisateur final

Focus Editeur / Suite Collaborative

Image, Identité, Stratégie

1911 Services / Softwares

Social Business

1975 Windows / Office

Virage Cloud à 360°

1998 Recherche / Publicité

Pure Player

Produit LotusLive Office 365 Google Apps For Business

Acquisition par modules

Oui Progressif (ajout d’options) Non

€/U/Y (prix publics)

34 à 113 € 43 à 306 € 40 €

Avantages • Réseau et Collaboration

Sociale • Ouverture à l’externe

• Intégration de la suite Office • Le « Framework » SharePoint

• Expérience Web • Ecosystème Google

Faiblesses

• Certaines fonctionnalités manquantes (suite bureautique online,

blogs/wikis, call audio/vidéo)

• L’Out-of-the-Box SharePoint (ergonomie, fonctionnalités) • Document-Centric

• Pas de web conférence • Intégration sociale et outils

collaboratifs un peu « light »

Page 12: Qualité d'expérience utilisateur final

Focus Messagerie

Produit • LotusLive iNotes/Notes • Exchange Online • GMail

Fonctionnel

• Codes classiques

• Intégration native Lotus Notes

• Codes classiques • Intégration native Outlook

• Codes cassant ceux d’une messagerie traditionnelle • GMail offline (Google

Chrome)

Technique • Deux types d’offres : basique (web

mail) + avancé (Domino) • Mode hybride

• Mode hybride • Full Web

Analyse, tendance

• Manque de visibilité, peut paraitre calibrée pour les seuls clients

Domino • Vision « Sociale » de la future

version de Domino/LotusLive

• Leader On-Premise • Coming-Out Cloud tardif

• Difficile passage de BPOS à Office 365 : quels impacts ?

• En position de conquête • Gros efforts réalisés sur

certains points (sécurité / administration)

Espace 25 Go 25 Go 25 Go

SLA, Crédit suivant le % de dispo.

99,9 % 2 à 10% du coût mensuel

99,9 % 25 à 100% du coût mensuel

99,9 % 3 à 15 jours

“ Inbox = Tetris getting zero lines doesn’t win it just makes the next move easy “

Page 13: Qualité d'expérience utilisateur final

Qualité d’expérience utilisateur Benchmark datametrie sur la disponibilité et les temps d’accès aux services de messageries en ligne

Page 14: Qualité d'expérience utilisateur final

Méthodologie

l 14

Solution Datametrie - Pilotage de toute application Web, Web Riche ou

client lourd (Office 365, Outlook, …) piloté comme un utilisateur : navigation, clic de souris, remplissage de formulaires, contrôle de texte, reconnaissance ou clic sur une image, etc.

- Lancement rapide sur l’un des 70 Points de Mesure dans le monde (5 opérateurs sont testés en France: Orange, Neuf-SFR, Iliad-Free, Colt, Cogent)

- Une solution en mode SaaS, « clé en main », du paramétrage des tests au maintien opérationnel des robots et des serveurs

- Accès aux mesures depuis un extranet, envoi de rapports par mail et alertes sur incidents

- Accès au support pour toute demande de paramétrage, formation ou expertise

- Outils d’enregistrement de scénarios à disposition des clients souhaitant être autonomes

Page 15: Qualité d'expérience utilisateur final

Architecture de la solution

l 15

Page 16: Qualité d'expérience utilisateur final

Description des Tests 3 plateformes testées

3 types de tests

– Accès au portail depuis 5 Points en France • https://portal.microsoftonline.com • https://apps.lotuslive.com • https://www.google.com/a/synergie-informatique.fr/ • Origine des tests : France Telecom, Neuf-SFR, Iliad-Free, Colt, Cogent • Fréquence des tests : 15 minutes • Période d’analyse : 21/07/11 au 30/09/11 (71 jours)

– Scénario ENVOI depuis 1 Point en France • Envoi d’un mail depuis la plateforme Cloud vers une messagerie externe • Vérification de la délivrance du mail en moins de 60 secondes • Fréquence des tests : 30 minutes • Période d’analyse : 1/09/11 au 30/09/11 (30 jours)

– Scénario RECEPTION depuis 1 Point en France • Envoi d’un mail depuis une messagerie externe vers la plateforme Cloud • Vérification de la réception du mail en moins de 60 secondes • Fréquence des tests : 30 minutes • Période d’analyse : 1/09/11 au 30/09/11 (30 jours)

l 16

Page 17: Qualité d'expérience utilisateur final

Description des Tests Scénario ENVOI

– Connexion au portail d’accès

– Authentification

– Accès messagerie

– Saisie en ligne d’un nouveau message à destination d’une adresse de destination [email protected]

– Envoi du message et attente de réception du message sur le serveur POP d’ip-label (mail.ip-label.com) – attente max 60 secondes

Scénario RECEPTION – Connexion au portail d’accès

– Authentification

– Accès messagerie

– Envoi d’un mail via SMTP depuis un serveur ip-label (mail.ip-label.com)

– Attente de réception de ce mail sur la plateforme testée – attente max 60 secondes

Chaque mail envoyé est automatiquement supprimé après chaque test

Chaque portail utilise un compte de messagerie externe distinct

l 17

Page 18: Qualité d'expérience utilisateur final

Description des Tests Quand le portail d’accès est considéré comme indisponible ?

– Non chargement complet du portail en moins de 60 secondes

– Détection d’incidents réseau (erreur de résolution DNS, connexion échouée) et serveurs (lenteur de chargement)

Quand scénario est considéré comme indisponible ?

– Non chargement complet d’une page en moins de 30 secondes (lié à des incidents réseau ou serveur)

– Mots clés non trouvés

• Username pour valider le chargement du portail d’accès

• Champs Username/Password, bouton connexion puis présence d’un bouton ‘Nouveau mail’ pour valider l’étape authentification

• ENVOI : boutons nouveau mail et envoyer

• RECEPTION : bouton rafraîchir pour vérifier la bonne réception du mail

– Non transmission du mail (SMTP externe Messagerie en ligne ou Messagerie en ligne SMTP) en moins de 60 secondes

l 18

Page 19: Qualité d'expérience utilisateur final

Portails d’accès Disponibilité et Temps d’accès moyens à chaque portail

Résultats sur la période du 21/07/11 au 30/09/11 – Environ 34000 tests par portail

– Google offre le meilleur temps de chargement du portail

– LotusLive est relativement rapide (1,5 secondes) mais est la page la plus longue à commencer le début d’affichage (600ms), avec une résolution DNS, un temps de connexion et un temps serveur plus longs

– Office 365 est la page la plus longue à se charger; c’est aussi la page la plus lourde (1 Mo, contre 17 ko pour google et 32 ko pour LotusLive)

– LotusLive présente la meilleure disponibilité, avec 7 échecs, suivi de près par Google (8 échecs) et Office 365 (11 échecs)

l 19

1,097 secondes 99.977 %

3,552 secondes 99.968 %

1,541 secondes 99.980 %

0 500 1000 1500 2000 2500 3000 3500 4000

Office 365

lotus live

google appsRésolution DNS

Temps de connexion

Temps de réponse du serveur

Chargement du contenu

Page 20: Qualité d'expérience utilisateur final

Portails d’accès

l 20

Evolution sur 3 mois

3474 3750

3432

1286 1357

1982

1119 1113 1061

0

500

1000

1500

2000

2500

3000

3500

4000

Juillet Aout Septembre

Office 365

lotus live

google apps

99

,98

99

,83

10

0

99

,98

99

,98

99

,98

99

,98

99

,96

99

,99

99,7

99,75

99,8

99,85

99,9

99,95

100

Juillet Aout Septembre

Performance d’accès au portail Disponibilité d’accès au portail

Observations

- Augmentation du temps de réponse réseau & serveur pour le portail LotusLive depuis le 31/08/11 (pour un contenu identique)

- Principales erreurs rencontrées - Google : 5 erreurs de résolution DNS et 3 timeout

- Lotus Live : 4 connexions interrompues et 2 serveurs injoignables

- Office 365 : 4 erreurs de résolution DNS, 5 serveurs injoignables et 2 timeout

- Une maintenance sur le portail Office 365 a eu lieu le 9/9/11 de 5h à 8h15; elle n’a pas été prise en compte dans les calculs

Page 21: Qualité d'expérience utilisateur final

Authentification Disponibilité et temps d’authentification et d’accès à la messagerie en ligne

Résultats sur la période du 01/09/11 au 30/09/11 – Environ 2800 tests par portail

– Google est la plateforme la plus robuste à l’authentification (99.86% en 24/24)

– Office 365 a une disponibilité de 99.76% en 24/24 sur l’authentification (notamment liée à quelques timeout ou erreurs DNS); ces incidents ont lieu principalement la nuit et de 8h à 23h la disponibilité est équivalente à celle de Google

– LotusLive présente le plus d’erreurs lors de l’authentification (99.17%); même si la plupart des échecs ont lieu la nuit (99.56% disponible entre 8h et 23h), un incident survenu le 18 septembre entre 8h et 10h pénalise sa position sur cet indicateur

– Google est la plateforme la plus rapide pour s’authentifier et accéder au service de messagerie : 11,5 secondes, Lotus Live nécessite 15 secondes (en un seul chargement de page contrairement aux autres)

– Office 365 est la plateforme la plus lente pour accéder à Outlook en ligne : 19 secondes

l 21

98,52

99,56

99,17

99,81

99,89

99,86

99,54

99,89

99,76

97,50 98,00 98,50 99,00 99,50 100,00

DisponibilitéHNO

23h-8h

DisponibilitéHeures Ouvrées

8h-23h

Disponibilité24h/24

Office 365

google apps

lotus Live

19054

15238

11438

0 5000 10000 15000 20000

Performance Authentification et Accès Messagerie

Page 22: Qualité d'expérience utilisateur final

Authentification Incident d’authentification pour LotusLive le 18/09

l 22

Timeout : page incomplète suite au login (88k sur 212ko attendus)

Page d’erreur suite au login

Page 23: Qualité d'expérience utilisateur final

Authentification Exemples d’erreurs d’authentification liés à des timeout

l 23

Timeout sur l’authentification Office 365

Timeout sur l’authentification Google Apps

Page 24: Qualité d'expérience utilisateur final

Authentification Exemples d’erreurs d’authentification liés au mauvais chargement du portail sur Google

Apps

l 24

Erreur du serveur (HTTP 500) sur l’objet Dashboard qui devrait rediriger sur le portail

Impact utilisateur : le champ login absent de la page et l’utilisateur ne peut pas s’authentifier

Erreur

Cas normal

Page 25: Qualité d'expérience utilisateur final

Envoi/Réception de mail Performance

Temps moyen d’envoi et de réception d’un mail

– En moyenne, l’envoi d’un mail depuis une plateforme Cloud est plus rapide que la réception d’un mail depuis une plateforme externe

– Google est la plateforme qui transmet les mails le plus rapidement, à la fois en émission vers un compte externe (12,2 secondes en moyenne) et en réception depuis un compte externe (7.5 secondes)

– Office 365 est plus rapide que LotusLive pour la réception de mail, mais plus lente que LotusLive pour l’envoi de mail

l 25

15095

18895

10049

23213

7558

12271

0 5000 10000 15000 20000 25000

Temps d'envoi

Temps de réception

google apps

lotus live

Office 365

Page 26: Qualité d'expérience utilisateur final

Envoi/Réception de mail Stabilité

Disponibilité moyenne d’envoi et de réception d’un mail

– LotusLive est la plateforme d’envoi de mail la plus disponible, si l’on considère comme indisponible une durée supérieure 60 secondes pour transmettre un mail CloudExterne ou ExterneCloud

– Office 365 (~75%) et Google Apps (~85%) : cela signifie que malgré des temps d’émission ou réception rapides (<15 secondes), des congestions ralentissent régulièrement la délivrance ou la réception des mails

• Les durées d’envoi et de réception sont donc plus instables pour Google et Office 365

l 26

74,81

71,66

97,62

99,18

85,17

86,17

0 10 20 30 40 50 60 70 80 90 100

Disponibilité d'envoi (<60s)

Disponibilité de réception (<60s)

google apps

lotus live

Office 365

Page 27: Qualité d'expérience utilisateur final

Google Apps Gmail peut-être considéré comme une référence pour la vitesse d’accès aux fonctions de messagerie ainsi que la garantie d’émission et de réception de mails dans des délais rapides

IBM LotusLive est une plateforme stable concernant l’émission et la réception des mails, mais peut générer des insatisfactions utilisateurs avec des indisponibilités d’accès au service et un temps d’accès dans la moyenne (15 sec)

Microsoft Office 365 dispose d’une bonne disponibilité d’accès aux services de messagerie (99.89% en heures ouvrées) mais a des améliorations à faire sur les temps de chargement des pages (en particulier sur l’authentification & accès à Outlook) et de l’acheminement des mails : dans nos tests, 25 mails sur 100 ne sont pas envoyés ou reçus en moins d’une minute

l 27

1 3 2 Google Apps Lotus Live

Office 365

Performance Portail 3 2 1

Disponibilité Portail 2 3 1

Performance Authentification et accès à la messagerie 3 2 1

Disponibilité Authentification en Heures Ouvrées 3 1 3

Temps de réception 3 1 2

Temps d'envoi 3 2 1

Instabilité de réception 2 3 1

Instabilité d'envoi 2 3 1

Total 21 17 11

Scores

Page 28: Qualité d'expérience utilisateur final

Conclusions

l 28

Détails des résultats Gmail Google

– Meilleure performance d’accès au portail

– Meilleures performance et disponibilité d’authentification

– Meilleurs temps d’envoi vers une messagerie externe et de réception depuis une messagerie externe

– Instabilité relative des durées de transmission

• 15 mails sur 100 sont envoyés en plus de 60 secondes

• 14 mails sur 100 sont reçus en plus de 60 secondes

IBM LotusLive

– Augmentation à surveiller du temps de chargement du portail depuis début septembre

– Meilleure disponibilité d’accès au portail

– Meilleure stabilité de transmission

• 1 mails sur 100 sont envoyés en plus de 60 secondes

• 3 mails sur 100 sont reçus en plus de 60 secondes

– Mauvaise performance et disponibilité d’authentification

Microsoft Office 365

– Très bonne disponibilité d’authentification en heures ouvrées

– Performance d’accès au portail et au service de messagerie à améliorer (19 secondes)

– Stabilité des durées de transmission des mails à améliorer

• 25 mails sur 100 sont envoyés en plus de 60 secondes

• 28 mails sur 100 sont reçus en plus de 60 secondes

Page 29: Qualité d'expérience utilisateur final

Conclusions Chaque acteur s’engage à 99.9% de disponibilité…

– « Microsoft fournit une garantie de fonctionnement de 99,9 % avec accord de niveau de service financier »

• http://www.microsoft.com/fr-fr/office365/what-is-office365.aspx

– « LotusLive Notes delivers the capabilities your business users need to increase efficiency while reducing IT complexity and associated bottom line costs - all backed by a dedicated IBM team with 24x7 support and a 99.9% up-time service level objective »

• https://www.lotuslive.com/styles/tours/transcripts/LLNotes_datasheet.pdf

– « Google Apps offre une garantie de disponibilité des services à 99,9 % et fournit la réplication synchrone »

• http://www.google.com/apps/intl/fr/business/messaging.html

Pour rappel, sur Septembre 2011…

Selon vous, quelle est la qualité réellement perçue

par vos utilisateurs de messagerie en ligne ?

l 29

Page 30: Qualité d'expérience utilisateur final

Qualité d’expérience utilisateur Les offres d’accompagnement de Synergie & ip-label dans la migration et les suivi des suites collaboratives Saas

Page 31: Qualité d'expérience utilisateur final

L’offre de services Synergie Informatique Framework Cloud & Social Business

Page 32: Qualité d'expérience utilisateur final

L’offre d’accompagnement Synergie & ip-label lors de la migration

Prestation d’accompagnement lors de la migration : objectifs :

- Mesurer depuis le réseau de l’entreprise les impacts éventuels de la migration en terme de disponibilité et de performance pour les utilisateurs,

- Partager avec les acteurs du projet une vision neutre et indépendante de la performance des applications

moyens : - mise en place d’une ou plusieurs sondes datametrie dans le réseau de l’entreprise - l’accompagnement d’un consultant de Synergie pendant toute la migration Livrables : - prestation d’accompagnement régulier lors de la migration et analyse des anomalies et des écarts

de performance et de disponibilité. Bénéfices : - une collecte immédiate des anomalies constatées à l’occasion de la migration - une vision objective de la qualité de service des prestations à l’occasion de la migration.

Page 33: Qualité d'expérience utilisateur final

L’offre d’accompagnement Synergie & ip-label en service régulier

Prestation de suivi de la performance en service régulier : objectifs :

- Mesurer depuis des points de mesure représentatifs la performance des services, - Surveillez en temps réel depuis des points de mesure utilisateurs la performance et la disponibilité de

l’application - Disposer d’indicateurs indépendants du suivi des SLA moyens : - mise en place de scénarios représentatifs depuis une ou plusieurs sondes réparties depuis le réseau de

l’entreprise et/ou depuis des points de mesure Internet locaux. - l’accompagnement d’un consultant de Synergie dans le suivi et l’analyse des indicateurs Livrables : - prestation d’accompagnement régulier lors de la migration et analyse des anomalies et des écarts de

performance et de disponibilité. - Alerting en cas d’incidents - Suivi et consolidation des SLA. Bénéfices : - une collecte immédiate des anomalies constatées à l’occasion de la migration - une vision objective de la qualité de service des prestations à l’occasion de la migration.

Page 34: Qualité d'expérience utilisateur final

Q/R lors du webinar

Les mails étaient-ils envoyés avec pièce jointe ? – Non , uniquement du contenu texte ; l’ajout de pièces jointes de différentes taille pourrait

être défini sur ce type de tests Quel navigateur a été utilisé dans les tests ?

– Internet Explorer 8 Les tests peuvent-il se faire sur clients lourds (Lotus Notes, outlook) ?

– Oui, les robots Datametrie d’ip-label permettent de simuler des utilisateurs utilisant tout type de client lourd sur un poste utilisateur windows (ouverture outlook, vérification connexion à exchange, envoi d’un mail, etc.)

Ce benchmark peut-il être étendu au partage de documents ? – Les outils de partage de documents peuvent également être testés par les robots ip-label;

l’’extension du benchmark pourra éventuellement prendre cet élément en compte Qu’en est-il des autres navigateurs, notamment si Microsoft exchange fonctionne en mode

dégradé au niveau fonctionnel ? – Les robots Datametrie d’ip-label permettent de tester des navigateurs Internet Explorer ou

Firefox; la vision multi-navigateurs peut être donnée à travers d’autres solutions comme Cloud Observer, offre de monitoring passif d’ip-label

Peut-on auditer des flux voix/vidéo ? – Ip-label permet de mesurer des flux voix ou vidéo à travers différentes solutions de

mesure du point de vue utilisateur (streaming, analyse de qualité vocale, analyse de qualité vidéo, tests de vidéo/audio conférence, etc.)

Page 35: Qualité d'expérience utilisateur final

Merci de votre attention

Synergie-informatique.fr

@SynergieInfo

Orléans 02 38 56 52 51

Paris 01 55 28 32 21